当前位置:118开奖直播现场 > 118kcom开奖现场直播 > 正文
118kcom开奖现场直播

现场开奖结果 118开奖直播现场 ICML 2018 Petuum提出

更新时间:2018-07-25   来源:本站原创

在评估模型质量的各种指标中,有两个比较常用:(1)在未曾见过的数据上的预测准确度;(2)对模型的解释。对于(2),科学家更喜欢更简单的模型,因为响应和协变量之间的关系更清晰。当预测量(predictor)的数量很大时,简约性问题就会变得尤其重要。当预测量的数量很大时,我们往往希望确定出一个能展现最强效果的小子集。

标签 变量 正则化 促进型 向量 方法

在很多机器学习问题中,都可以基于同一个协变量集预测出多种响应。比如,在多任务分类任务中,具有 m 个类别的分类器建立在一个共享的特征集之上,而且每个分类器都有一个类别特定的系数向量。在主题建模任务(Blei et al., 2003)中,可以在同一个词汇库上学习到多个主题,并且每个主题都有一个基于词的特有多项式分布。不同的响应与协变量的不同子集相关。比如,教育主题会与「学生」、「大学」和「教授」等词相关,而政治主题则会与「政府」、「总统」和「选举」等词相关。为了在执行变量选择时考虑到不同响应之间的差异,我们希望为不同响应选出的变量之间的重叠更少。

为了能在选择出重要因素的一个子集的同时得到准确的预测,研究者常常使用基于正则化的变量选择方法。其中最值得提及的是 L1 正则化(Tibshirani, 1996),这能促进模型系数变得稀疏。其变体包括 L1/L2 范数(Yuan & Lin, 2006),其中引入了组稀疏效应(group sparsity effect)和弹性网络(elastic net)(Zou & Hastie, 2005),这能强烈地促进大量预测量中互相相关的预测量共同进入或离开模型。

第 35 届国际机器学习会议(ICML 2018)正在瑞典斯德哥尔摩举行。人工智能创业公司 Petuum 共有 5 篇论文入选,包含门控规划网络、变换自回归网络和无限可微分蒙特卡罗估计器等研究。本文将摘要介绍其中一篇论文《Nonoverlap-Promoting Variable Selection》,其中提出了一种有效的新型正则化方法,能够促进变量选择中的非重叠效应。

参与:Geek AI、路

作者:John Olafenwa

选自arXiv