广告自助中心 快捷导航

QQ登录

只需一步,快速开始

微信登录

微信扫码,快速开始

切换风格

默认青色 咖啡色 淡黄 紫色 红色 灰蓝 淡绿 蓝色 黄色
广告位置 2 广告位招租中,点击购买!(图片大小:1200×90px)

详情

查看: 10208|回复: 0

两个月三项功效,对标谷歌!独家对话小米,若何让模子搜索更公允

14

主题

46

帖子

116

积分

见习会员

Rank: 5

积分
116

醉跌岳阳楼 Lv.5 实名认证

2019-9-27 15:01:18 | 只看作者

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
两个月三项功效,对标谷歌!独家对话小米,若何让模子搜索更公允-1.jpg




大数据文摘出品

作者:曹培信

机械进修自动化(AutoML)正在引领机械进修的下一个时代,而要想让机械自己学会“炼丹”,其中最关键的步调就是,找到最合适的算法模子,也即自动化神经架构搜索(Neural Architecture Search,简称NAS)。



两个月三项功效,对标谷歌!独家对话小米,若何让模子搜索更公允-2.jpg




要快速、高效判定哪个模子最有用并不是一件轻易事。NAS界今朝一种支流的方式是谷歌大脑创建的One-Shot派。

One-Shot,望文生义,只完整练习一个超网,主张权重同享,对分岔途径停止采样作为子模子练习,并基于此对模子排名,这样便可以更快速判定模子性能,进步搜索效力。

就像经过一次“考试”来判定这群“模子们”的才能,经过终极分数决议排名。

看似很公允,可是,One-Shot形式下,虽然考题分歧,可是门生的进修时候、练习方式都不尽不异,很轻易致使好的模子由于没有获得充实的练习,而表示欠安。



两个月三项功效,对标谷歌!独家对话小米,若何让模子搜索更公允-3.jpg




在One-Shot形式根本上,小米AI尝试室的AutoML团队在七月初提出了一个新的概念——FairNAS,来处理这一模子练习中的“公允”题目。而且在ImageNet 1k分类使命MobileNetV2量级上,FairNAS击败了Google Brain在CVPR 2019公布的MnasNet。

在FairNAS根本上,上周,小米AutoML团队展现出一项新的研讨功效:MoGA——移动端GPU敏感,对多方针停止加权处置,激励增大参数目,间接面向在移动真个落天时用,在业内激发了普遍关注。

昨天,小米AI尝试室AutoML团队又重磅公布了最新功效SCARLET,跨越Google Brain首席科学家Quoc Le团队提出的EfficientNet同量级模子(ICML 2019),此次是让自动化神经收集搜索具有了可伸缩性,完善了7月初颁发的FairNAS。

从FairNAS,到MoGA,再到昨天公布的SCARLET,这支团队只用了不到两个月的时候。

至此,小米AutoML团队打造了FairNAS、MoGA、SCARLET三部曲,在ImageNet 1k分类使命上别离跨越Google顶级团队的MnasNet、MobileNetV3、EfficientNet。

大数据文摘第一时候对三篇论文的主创职员、小米AutoML团队的高级软件工程师初祥祥和软件工程师张勃停止了专访。这也是这支年轻的团队,初次公然对这三份研讨停止解读。

从反直觉题目动手,两个月研发“三部曲”,间接对标谷歌

公允”,初祥祥在采访中屡次提到了这个关键词,而这也是他们在今年五月份,起头停止FairNAS项目标灵感来历。

“我们FairNAS技术一路头的insight是来自于谷歌大脑,那时发现one shot论文里面公布的成果,采样了大要几百个模子,可是正确率是很大的一个range,从30%到90%。可是按照我们之前做的尝试,这个range现实上是比力异常的。大都模子的range比力窄,比如在80%到95%。”



两个月三项功效,对标谷歌!独家对话小米,若何让模子搜索更公允-4.jpg




因而,初祥祥团队对此停止了考证,得出了一个很反直觉的结论:看似公允的随机采样模子的Single Path,30次迭代以后,子模子获得公允练习的几率近似即是0。

初祥祥说:“这就是我们最原始的insight,包括最新公布的SCARLET,灵感也是来历于MIT、Facebook的论文中架构可伸缩性的题目。”

初祥祥也暗示:“实在我们这一路走来都是在对标谷歌大脑在NAS的最新研讨。”

从大厂论文中的反直觉点动手,间接和强者对标,这也许就是小米AutoML团队强大内驱力的由来。

接下来,先随着文摘菌先来一路看看这篇最新的公布——SCARLET

SCARLET:处理同享参数超网练习的可伸缩题目

小米AutoML团队的最新的论文,提出了具有伸缩功用的自动化神经收集搜索SCARLET,经过线性等价变更,处理了one-shot线路中超网练习伸缩性较差的题目。

这篇论文的灵感一样来自对已有研讨的质疑,初祥祥暗示:“FairNAS虽然能处理采样不公允的题目,可是要做搜索layer的通道数常常都是牢固的。而很多学者包括MIT、Facebook的研讨者城市在论文中称,他们的NAS架构是可伸缩的,但很难找到具体的中心进程。比如一个有18层的可伸缩的NAS,理论上可缩到一层,可是这中心的具体进程却很少有人去提,大概只提一下是可伸缩的,可是没有提最初的结果,经过考证后我们发现这个伸缩对成果影响很大,拆台到很是严重的境界。”



两个月三项功效,对标谷歌!独家对话小米,若何让模子搜索更公允-5.jpg




SCARLET系列是间接对标Google Brain提出的EfficientNet,在ImageNet 1k分类使命中到达76.9%的Top-1精度,今朝是
温馨提示:
1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
楼主热帖

帖子地址: 

天茗SEO站群系统,网店优化,搜索引擎关键词排名等等业务,请联系微信A13489884026
您需要登录后才可以回帖 登录 | 立即注册

第6期 - 2019-04-08 更新全民话题

首页

论坛

群组

导读

我的

快速回复 返回顶部 返回列表