欢迎来到智品网!

新闻

刚刚,ICLR 2021正式放榜:接收率上升,860篇论文创新高



发布时间:2021-01-14 00:28:46   来源:互联网   作者:

图1:ReLUMLP如何外推。研究者训练MLP以学习非线性函数(灰色),并从内部(蓝色)和外部(黑色)两方面绘制其预测结果。MLP从原点沿多个方向迅速收敛至训练数据范围以外的线性函数。因此,MLP在大多数非线性任务中无法很好地外推,但MLP能够很好地全局外推线性目标函数。

https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

其中可见,不同于去年超过30篇满分论文,今年只有15篇论文获得了平均8分及以上的分数,也没出现「满分论文」。其中排名最高的是来自麻省理工学院(MIT)KeyuluXu、马里兰大学MozhiZhang、JinglingLi等人的论文《HowNeuralNetworksExtrapolate:FromFeedforwardtoGraphNeuralNetworks获得了9、8、9、9四个评分。

虽然参会的人数还不是最多,但ICLR的影响力已不容小觑。在今年的论文结果放出之后,YannLeCun在推特上给出了一些ICLR大会的数据:

论文链接:https://openreview.net/forum?id=UH-cmocLJC

首先,该研究对ReLUMLP从原点沿任何方向快速收敛到线性函数的观察结果进行量化。这意味着ReLUMLP不会外推大多数非线性函数。但是,当训练分布足够多样化时,ReLUMLP被证明可以用于学习线性目标函数。其次,结合分析GNN的成功和局限性,这些结果提出了一种假设:GNN在将算法任务外推到新数据(例如较大的图或边权重)方面的成功取决于架构或特征中的特定于编码任务的非线性性。该研究为这种假设理论和实验依据。该研究的理论分析建立在超参数网络与神经正切核的连接上。实验表明,该研究的理论适用于不同的训练设置。

今年大会论文29%的接收率相比去年的26.5%也有提升,与其他一些顶会大幅降低接收率相比,ICLR似乎更加友好。但在社交网络上,我们仍然看到了「评分6、8、6、8,但仍被程序主席毙掉」的惨剧。在此之前,所有论文的初审结果已于去年11月11日公布。值得注意的是,此次会议收到的论文中有856篇是NeurIPS2020Rejection之后再提交的。

https://scholar.google.com/citations?view_op=top_venues&hl=en

该研究的主题是通过梯度下降训练的神经网络如何外推(extrapolate),即在训练分布的支持以外还能学到什么。之前的研究表明用神经网络外推时的混合实验结果如下:虽然多层感知机(MLP)在一些简单任务中无法很好地外推,但是图神经网络(GNN,一种具有MLP模块的结构化网络)在一些较为复杂的任务中已经显示出一定的成功。通过理论解释,研究者确定了MLP和GNN良好推断的条件。

ICLR的谷歌学术h5指数已经排到了全榜第17名,超过了NeurIPS、ICCV、ICML,落后于CVPR(该榜单的前三名是Nature、新英格兰医学杂志和Science)。

图2:GNN如何外推。由于MLP在学习线性函数时可以很好地进行外推,因此研究者作出如下假设:如果在架构(左)和输入表征(右,借助域知识或表征学习)中编码适当的非线性,GNN就会在动态规划(DP)中很好地进行外推。编码的非线性可能对于插值(interpolation)是非必需的,因为它们可能是通过MLP模块近似化的,但是它们有助于外推。

论文结果放出以后,人们也整理了本次大会的论文评分和链接列表:

ICLR全称为InternationalConferenceonLearningRepresentations(国际学习表征会议)。自2013年开始每年举办一次,2021年将举办第九届会议。该会议与CVPR、ACL、NeurIPS等学术会议一样被认为是国际人工智能顶会,同时也是CCF评选的一类会议。

ICLR的创始人包括深度学习三巨头之二的YoshuaBengio和YannLeCun。数据的应用表征对机器学习的性能有着重要的影响,表征学习对于计算机视觉、语音处理、自然语言处理等多个领域都起着至关重要的作用,ICLR旨在打造这一领域交流研究的平台。

和其他著名人工智能会议一样,今年的ICLR论文投稿数量继续增长:共获得2997篇有效投稿,860篇论文最终被接收(2020年为687篇),其中53篇将进行口头讲述报告(Oral),114篇Spotlight,其余为Poster论文。

今年的ICLR大会原定于奥地利首都维也纳举行,但由于新冠疫情的原因已连续第二届改为线上形式,正式的活动将在5月4-8日进行。

几个小时前,人工智能顶会ICLR2021放出了今年的论文接收结果。

参考内容:

https://iclr.cc/Conferences/2021/Dates

对于一个2013年刚起步的学术会议来说,这是相当值得称赞的成绩。LeCun表示,开放的审稿形式,以及深度学习领域近年来的良好发展趋势是ICLR大会成功的原因。

责任编辑:ysman
上一篇:没有了下一篇: 张一鸣没阿里“大力”
返回列表
0
免责声明:
① 凡本网注明稿件来源:“智品网”的所有文字、图片和音视频稿件,版权均属智品网所有,任何媒体、网站或 个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表。已经本网协议授权的媒体、网站,在下载使用时必须注明稿 件来源:“智品网”,违者本网将依法追究责任。
② 本网未注明稿件来源:“智品网”的文/图等稿件均为转载稿,本网转载出于传递更多信息之目的,并不意味着赞同其观点或 证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的“稿件来源”,并自负版权等法律责任。如擅 自篡改为稿件来源:“智品网”,本网将依法追究责任。如对稿件内容有疑议,请及时与我们联系。 新闻纠错:748492175 邮箱:748492175@qq.com
③ 如本网转载稿涉及版权等问题,请作者在两周内速与智品网联系。

友情链接

关于我们 联系方式 招聘信息 版权声明 网站地图