QuocV.Le何恺明等新论文；用进化算法规划炉石

机器之心收拾

参加：杜伟、一鸣

本周较为重要的研讨有 Quoc V. Le 和何恺明各安闲 ImageNet 上的新研讨。一起 Keras 之父 Fran ois Chollet 针对智能水平的点评办法提出了自己的界说和基准。此外还有一些风趣的研讨，如在股票猜测使命上比照神经网络功能，以及运用进化算法规划炉石传说游戏等。

目录：

Self-training with Noisy Student improves ImageNet classification

A Comparative Analysis of XGBoost

Momentum Contrast for Unsupervised Visual Representation Learning

Deep Learning for Stock Selection based on High Frequency Price-Volume Data

Evolving the Hearthstone meta

The Measure of Intelligence

Emerging Cross-lingual Structure in Pretrained Language Models

论文 1：Self-training with Noisy Student improves ImageNet classification

作者：Qizhe Xie、Eduard Hovy、Minh-Thang Luong、Quoc V. Le

论文链接：https://arxiv.org/pdf/1911.04252.pdf

摘要：在本文中，研讨者首先在标示的 ImageNet 图画上练习了一个 EfficientNet 模型，然后用这个模型作为教师在 3 亿无标签图画上生成伪标签。然后研讨者练习了一个更大的 EfficientNet 作为学生模型，运用的数据则是正确标示图画和伪标示图画的混合数据。这一进程不断迭代，每个新的学生模型作为下一轮的教师模型，在生成伪标签的进程中，教师模型不会被噪声搅扰，所以生成的伪标示会尽或许传神。可是在学生模型练习的进程中，研讨者对数据加入了噪声，运用了比如数据增强、dropout、随机深度等办法，使得学生模型在从伪标签练习的进程中愈加困难。这一自练习模型，能够在 ImageNet 上到达 87.4% 的 top-1 精确度，这一成果比当时的 SOTA 模型体现提高了一个点。除此之外，该模型在 ImageNet 鲁棒性测验集上有更好的效果，它比较之前的 SOTA 模型能应对更多特殊情况。

表 1：Noisy Student 办法和之前 SOTA 模型目标的比照成果。

表 2：Noisy Student 与之前 SOTA 模型在 ImageNet 上的 Top-1 与 Top-5 准确率，带有 Noisy Student 的 EfficientNet 能在准确率与模型巨细上取得更好的权衡。

引荐：ImageNet 上的图画分类模型好像现已老练，要到达新的 SOTA 现已十分难。可是，Quoc Le 等在本文中提出的 Noisy Student 办法在这一数据集上再次提高了 SOTA 功能一个点，而且这一办法让模型在鲁棒性上也有很大的提高。

论文 2：A Comparative Analysis of XGBoost

作者：Candice Bentéjac、Anna Cs rg 、Gonzalo Martínez-Mu oz

论文链接：https://arxiv.org/pdf/1911.01914v1.pdf

摘要：XGBoost 是一项根据梯度提高可扩展调集技术，在处理机器学习难题方面是牢靠和有用的。在本文中，研讨者对这项新颖的技术如安在练习速度、泛化功能和参数设置方面发挥效果进行了实证剖析。此外，经过精心调整模型和默许设置，研讨者还对 XGBoost、随机森林和梯度提高展开了归纳比较。成果标明，XGBoost 在所有情况下并不总是最佳挑选。最终，他们还对 XGBoost 的参数调整进程进行了扩展剖析。

图 1：随机森林、梯度提高和 XGBoost 的正常网格查找中的默许值以及每个参数的或许值。

表 2：默许和参数调整设置下随机森林、梯度提高和 XGBoost 的均匀准确度和规范偏差。

引荐：经过对随机森林、梯度提高和 XGBoost 的归纳比较，来自法国波尔多大学、匈牙利帕兹曼尼·彼得天主教大学以及马德里自治大学的三位研讨者得出定论：从查询问题的数量看，梯度提高是最好的分类器，但默许参数设置下 XGBoost 和随机森林在均匀排名（average rank）方面的差异不具备统计显著性。

论文 3：Momentum Contrast for Unsupervised Visual Representation Learning

作者：Kaiming He、Haoqi Fan、Yuxin Wu、Saining Xie、Ross Girshick

论文链接：https://arxiv.org/pdf/1911.05722.pdf

摘要：在无监督的视觉表征学习上，近来的一些研讨经过运用比照丢失（constrative loss）的办法取得了不错的效果。这些办法都能够被以为和动态词典（dynamic dictionary）相关。在词典中，键（token）是经过从数据（如图画等）中进行采样得到的，然后运用一个编码器网络转换为表征。无监督学习则练习编码器，用于词典的查找作业，即一个编码的「查询（query）」应该和与之匹配的键类似，与其他键不类似。这样的一个学习进程能够被构建为削减比照丢失。在本次研讨中，何恺明等研讨者提出了一种名为动量比照（Momentum Contrast，简称 MoCo）的办法。这种办法旨在经过比照丢失为无监督学习树立大型、共同的词典（如下图 1 所示）。研讨者将词典保护为一个数据样本行列：当时 mini-batch 编码表征将进入行列，而最老的将退出行列。该行列将词典巨细与 mini-batch 巨细解耦，然后答应词典变大。此外，由于词典键来自前面的几个 mini-batch，因而研讨者提出运用一个缓慢行进的键编码器，作为根据动量的查询编码器的移动均匀值，以坚持共同性。

图 1.MoCo 经过运用比照丢失将一个已编码的查询 q 与一个已编码的键词典进行匹配来练习一个视觉表征编码器。词典键 是由一组数据样本动态界说的。

表 1：在 ImageNet 数据集上，MoCo 与其他办法在线性分类点评规范下的比照成果。

引荐：Facebook AI 研讨团队的何恺明等人提出了一种名为动量比照（MoCo）的无监督练习办法。在 7 个与检测和切割相关的下流使命中，MoCo 能够超越在 ImageNet 上的监督学习成果，在某些情况下其体现乃至大大超越后者。作者在摘要中写道：「这标明，在许多视觉使命中，无监督和监督表征学习之间的距离现已在很大程度上被消除了。」

论文 4：Deep Learning for Stock Selection based on High Frequency Price-Volume Data

作者：Junming Yang、Yaoqi Li、Xuanyu Chen、Jiahang Cao、Kangkang Jiang

论文链接：https://arxiv.org/pdf/1911.02502v1.pdf

摘要：为股票挑选练习一个有用和有用的模型渐渐的变成了人工智能范畴广受重视的问题。由于金融市场自身的不稳定性和敏感性，重大事件、社会经济状况或许政治骚动等许多要素都或许对股价形成影响。许多学者现已测验运用不同的机器学习办法，以找到拟合具有非线性、不连续性和高频多项式组件的股价时序数据的模型。为了处理这些杂乱的组件并做出精准猜测，很多的学者挑选运用机器学习来创立模型。在本文中，研讨者运用深度学习神经网络来构建长短期回忆（LSTM）和卷积神经网络（CNN）模型，以猜测当日股票的预期收益率并经过选用恰当战略来最大化总收益。

引荐：研讨者具体剖析了 LSTM 和 CNN 模型的功能，并验证了它们在猜测股价方面的有用性和合理性。他们得出了以下定论：尽管这两种模型克服了股价猜测中的一些难题，但在防止不必要的买卖费用等方面仍然有提高空间。

论文 5：Evolving the Hearthstone meta

作者：Fernando de Mesentier Silva、Rodrigo Canaan、Scott Lee 等

论文链接：https://arxiv.org/pdf/1907.01623v1.pdf

摘要：在《炉石传说》这样的高杂乱性战略游戏中，坚持人物的平衡是一项困难的使命。游戏中战略的多样化和定制化将衍生奇妙杂乱的游戏体系。在不损坏当时环境的情况下经过调整 2000 多张卡片来到达预期游戏效果十分困难。在本文中，来自纽约大学游戏立异实验室（Game Innovation Lab）、新泽西理工学院吴鹰计算机学院以及其他几位独立研讨者探讨了《炉石传说》中现有卡牌的改换对游戏战略的影响。在这项研讨中，研讨者们剖析了不同战略下不同牌组之间相互攻防的胜率，然后提出对发作改换之前和之后的体现进行比较，然后提高或削弱不同的卡牌。之后，借助于进化算法，研讨者探求牌组之间胜率同为 50% 时卡牌特色呈现哪些组合改换。因而，他们接着将运用的进化算法扩展到多目标处理方案，一起对现有卡牌做出最小程度的改换，然后尽或许不影响游戏全体。最终，他们提出并点评了一些目标，然后得出哪些卡牌完成了预期的平衡改换。

炉石传说的游戏界面。

12 个牌组在一万场对决中的比赛成果。

引荐：游戏的人物规划是一大学识，咱们咱们都期望不同人物各有特色，但整体又是平衡的。但之前炉石等游戏，总会有玩家能钻游戏规划的空子，他们能找到强于其它组合的阵型，并开展成一套简略高效的战略。现在，进化算法也能用来点评人物特色的平衡了，用 AI 来规划游戏，说不定能大大提高可玩性。

论文 6：The Measure of Intelligence

作者：Fran ois Chollet

论文链接：https://arxiv.org/abs/1911.01547

摘要：为了推进智能和类人人工体系的研讨，本文作者以为，咱们应该遵从一种适宜的反应信号：相关研讨需求能够界说并点评智能——以和人类比照智能水平的办法比照两种体系。在曩昔一百年里，现已有许多相关的测验和研讨，包含心理学和人工智能方面的。作者在本文中总结并批评性地点评了这些办法，并说清楚了历史上现已在引导研讨的两种概念。作者标明，在实践中，当时的 AI 社区仍然沉溺于比照基准智能水平——即经过比照 AI 和人类在特定使命上的体现来衡量智能水平。本文研讨者标明，仅仅对给定使命进行单一点评是不能衡量智能水平的。由于技术实际上高度依靠先验常识和经历，而无约束的先验常识或数据仅能够「买到」不稳定的技术水平，一起掩盖了体系自身的泛化才能。

随后，作者在文中构建了一个新的关于智能的界说，根据算法上的信息理论。这一理论将智能界说为一种取得技术的功率，一起重视取得技术的多少、泛化的困难程度、先验常识和经历。经过运用这种界说，作者提出了一系列辅导理论，用于阐明通用人工智能点评基准应该是怎样的。最终，作者提出了一个契合这一界说的基准，名为 Abstraction and Reasoning Corpus (ARC)。ARC 基准根据一系列明晰的先验常识，这些先验常识规划得满足像人类先验。作者以为，ARC 能够被用来点评类人的通用动态智能体系，一起它能够对人和人工智能体系的智能程度进行公正的点评。

引荐：本文是 Keras 作者的一篇长文。文章批评了当时的点评规范并证明和提出了一个新的基准。这一针对类人人工智能的点评体系或许能够直到更为泛化的 AI 体系规划和测验作业。

论文 7：Emerging Cross-lingual Structure in Pretrained Language Models

作者：Shijie Wu、Alexis Conneau、Haoran Li、Luke Zettlemoyer、Veselin Stoyanov

论文链接：https://arxiv.org/pdf/1911.01464.pdf

摘要：在本文中，研讨者探求了多语掩模言语建模，即在多言语串联文本中练习单个模型，而且具体研讨了影响这些模型对跨言语搬迁发挥有用效果的几个要素。研讨标明，与从前做出的假定不同，即便语料库之间不存在相同的词汇或许文本范畴天壤之别，这种跨言语搬迁仍然是或许完成的。仅有的要求是顶层多言语编码器中有一些同享的参数。为了更好地了解这个成果，研讨者还证明晰不同言语中独立练习模型的表征能轻松完成高效地对齐，这激烈阐明晰正如非上下文词汇嵌入相同，学习到的嵌入空间中存在遍及的潜在对称性。关于多语掩码言语建模而言，这些对称性好像能够在联合练习进程中主动发现和对齐。

引荐：这篇来自约翰·霍普金斯大学和 Facebook AI 的论文阐明晰不同言语在潜在语义表征结构上具有类似性的特色。一起，它也阐明晰多言语的预练习言语模型能够在搬迁学习发挥效果的原理。这篇论文关于开掘通用言语表征的研讨具有参考价值。