快捷导航

QQ登录

只需一步,快速开始

微信登录

微信扫码,快速开始

切换风格

默认青色 咖啡色 淡黄 紫色 红色 灰蓝 淡绿 蓝色 黄色

两个月三项成果,对标谷歌!独家对话小米,如何让模型搜索更公平

醉跌岳阳楼 Lv.1 实名认证

2019-9-27 15:01:18 | 只看作者

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
两个月三项成果,对标谷歌!独家对话小米,如何让模型搜索更公平-1.jpg




大数据文摘出品

作者:曹培信

机器学习自动化(AutoML)正在引领机器学习的下一个时代,而要想让机器自己学会“炼丹”,其中最关键的步骤就是,找到最合适的算法模型,也即自动化神经架构搜索(Neural Architecture Search,简称NAS)。



两个月三项成果,对标谷歌!独家对话小米,如何让模型搜索更公平-2.jpg




要快速、高效判断哪个模型最有效并不是一件容易事。NAS界目前一种主流的方法是谷歌大脑创立的One-Shot派。

One-Shot,顾名思义,只完整训练一个超网,主张权重共享,对不同路径进行采样作为子模型训练,并基于此对模型排名,这样就可以更快速判断模型性能,提高搜索效率。

就像通过一次“考试”来判断这群“模型们”的能力,通过最终分数决定排名。

看似很公平,但是,One-Shot模式下,虽然考题一致,但是学生的学习时间、训练方式都不尽相同,很容易导致好的模型由于没有获得充分的训练,而表现不佳。



两个月三项成果,对标谷歌!独家对话小米,如何让模型搜索更公平-3.jpg




在One-Shot模式基础上,小米AI实验室的AutoML团队在七月初提出了一个新的概念——FairNAS,来解决这一模型训练中的“公平”问题。并且在ImageNet 1k分类任务MobileNetV2量级上,FairNAS击败了Google Brain在CVPR 2019发布的MnasNet。

在FairNAS基础上,上周,小米AutoML团队展示出一项新的研究成果:MoGA——移动端GPU敏感,对多目标进行加权处理,鼓励增大参数量,直接面向在移动端的落地应用,在业内引发了广泛关注。

昨天,小米AI实验室AutoML团队又重磅发布了最新成果SCARLET,超过Google Brain首席科学家Quoc Le团队提出的EfficientNet同量级模型(ICML 2019),这次是让自动化神经网络搜索具备了可伸缩性,完善了7月初发表的FairNAS。

从FairNAS,到MoGA,再到昨天发布的SCARLET,这支团队只用了不到两个月的时间。

至此,小米AutoML团队打造了FairNAS、MoGA、SCARLET三部曲,在ImageNet 1k分类任务上分别超过Google顶级团队的MnasNet、MobileNetV3、EfficientNet。

大数据文摘第一时间对三篇论文的主创人员、小米AutoML团队的高级软件工程师初祥祥和软件工程师张勃进行了专访。这也是这支年轻的团队,首次公开对这三份研究进行解读。

从反直觉问题入手,两个月研发“三部曲”,直接对标谷歌

公平”,初祥祥在采访中多次提到了这个关键词,而这也是他们在今年五月份,开始进行FairNAS项目的灵感来源。

“我们FairNAS技术一开始的insight是来自于谷歌大脑,当时发现one shot论文里面公布的结果,采样了大概几百个模型,但是准确率是很大的一个range,从30%到90%。但是根据我们之前做的实验,这个range实际上是比较异常的。多数模型的range比较窄,比如在80%到95%。”



两个月三项成果,对标谷歌!独家对话小米,如何让模型搜索更公平-4.jpg




于是,初祥祥团队对此进行了验证,得出了一个很反直觉的结论:看似公平的随机采样模型的Single Path,30次迭代之后,子模型得到公平训练的概率近似等于0。

初祥祥说:“这就是我们最原始的insight,包括最新发布的SCARLET,灵感也是来源于MIT、Facebook的论文中架构可伸缩性的问题。”

初祥祥也表示:“其实我们这一路走来都是在对标谷歌大脑在NAS的最新研究。”

从大厂论文中的反直觉点入手,直接和强者对标,这也许就是小米AutoML团队强大内驱力的由来。

接下来,先跟着文摘菌先来一起看看这篇最新的发布——SCARLET

SCARLET:解决共享参数超网训练的可伸缩问题

小米AutoML团队的最新的论文,提出了具备伸缩功能的自动化神经网络搜索SCARLET,通过线性等价变换,解决了one-shot路线中超网训练伸缩性较差的问题。

这篇论文的灵感同样来自对已有研究的质疑,初祥祥表示:“FairNAS虽然能解决采样不公平的问题,但是要做搜索layer的通道数往往都是固定的。而很多学者包括MIT、Facebook的研究者都会在论文中称,他们的NAS架构是可伸缩的,但很难找到具体的中间过程。比如一个有18层的可伸缩的NAS,理论上可缩到一层,但是这中间的具体过程却很少有人去提,或者只提一下是可伸缩的,但是没有提最后的效果,经过验证后我们发现这个伸缩对结果影响很大,捣乱到非常严重的地步。”



两个月三项成果,对标谷歌!独家对话小米,如何让模型搜索更公平-5.jpg




SCARLET系列是直接对标Google Brain提出的EfficientNet,在ImageNet 1k分类任务中达到76.9%的Top-1精度,目前是
楼主热帖
天茗SEO优化网店,请联系微信A13489884026
您需要登录后才可以回帖 登录 | 立即注册

首页

论坛

群组

导读

我的

快速回复 返回顶部 返回列表