NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

论文将搜索空间从整体网络转化为卷积单元(cell),再按照设定堆叠成新的网络家族NASNet。不仅降低了搜索的复杂度,从原来的28天缩小到4天,而且搜索出来的结构具有扩展性,在小模子和大模子场景下都能使用更少的参数目和盘算量来逾越人类设计的模子,到达SOTA

泉源:【晓飞的算法工程条记】 民众号

论文: Learning Transferable Architectures for Scalable Image Recognition

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

Introduction

  论文作者在ICLR 2017使用强化学习举行神经网络架构搜索获得了很好的显示,但该搜索方式需要盘算资源许多,在CIFAR-10上需要800块GPU搜索28天,几乎不可能在大型数据集上举行搜索。因此,论文提出在署理数据集(proxy dataset)上举行搜索,然后将网络迁徙到ImageNet中,主要亮点如下:

  • 迁徙的基础在于搜索空间的界说,由于常见的网络都是重复的结构堆叠而成的,论文将搜索空间从整个网络改成单元(cell),再按设定将单元堆叠成网络。这样做不仅搜索速度快,而且相对而言,单元结构通用性更高,可迁徙
  • 论文搜索到的最好结构称为NASNet,到达那时的SOTA,在CIFAR-10提升了2.4%top-1准确率,而迁徙到ImageNet提升了1.2%
  • 通过堆叠差别数目的单元(cell)以及修改单元中的卷积核数目,可以获得顺应种种盘算需求的NASNets,最小的NASNet在ImageNet top-1准确率为74.0%,比最好的移动端模子高3.1%
  • NASNets学习到的图片特征十分有用,而且能够迁徙到其它视觉义务中。Faster-RCNN使用最大的NASNets能直接提高4%,到达SOTA 43.1%mAP

Method

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  论文的神经网络搜索方式沿用了经典强化学习方式,详细可以看我之前的论文解读。流程如图1,简而言之就是使用RNN来天生网络结构,然后在数据集上举行训练,凭据收敛后的准确率对RNN举行权重调整
  论文的焦点在于界说一个全新的搜索空间,称之为the NASNet search space。论文观察到现在优异的网络结构,如ResNet和Inception,实在都是重复模块(cell)堆叠而成的,因此可以使用RNN来展望通用的卷积模块,这样的模块可以组合堆叠成一个系列模子,论文主要包罗两种单元(cell):

  • Normal Cell,卷积单元用来返回相同巨细的特征图,
  • Reduction Cell,卷积单元用来返回宽高缩小两倍的特征图

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  图2为CIFAR-10和ImageNet的网络框架,图片输入分别为32×32和299×299,Reduction Cell和Normal Cell可以为相同的结构,但论文发现自力的结构效果更好。当特征图的巨细削减时,会手动加倍卷积核数目来大致保持总体特征点数目。另外,单元的重复次数N和初始的卷积核数目都是人工设定的,针对差别的分类问题

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  单元的结构在搜索空间内界说,首先选取前两个低层单元的输出$h_i$和$h_{i-1}$作为输入,然后the controller RNN展望剩余的卷积单元结构block,单个block展望如图3所示,每个单元(cell)由B个block组合成,每个block包罗5个展望步骤,每个步骤由一个softmax分类器来选择对应的操作,block的展望如下:

  • Step 1,在$h_i$,$h_{i-1}$和单元中之前的block输出中选择一个作为第一个隐藏层的输入
  • Step 2,选择第二个隐藏层的输入,如Step 1
  • Step 3,选择用于Step 1中的输入的操作
  • Step 4,选择用于Step 2中的输入的操作
  • Step 5,选择用于合并Step 3和Step 4输出的操作,并发生新的隐藏层,可供后面的block选择

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  Step 3和4中选择的操作包罗了如上的一些主流的卷积网络操作,而Step 5的合并操作主要包罗两种:1) element-wise addition 2) concatenation,最后,所有没有被使用的隐藏层输出会concatenated一起作为单元的输出。the controller RNN总共举行$2\times 5B$次展望,前$5B$作为Normal Cell,而另外$5B$则作为Reduction Cell
  在RNN的训练方面,既可以用强化学习也可以用随机搜索,实验发现随机搜索仅比强化学习获得的网络稍微差一点,这意味着:

  • NASNet的搜索空间组织得很好,因此随机搜索也能有好的显示
  • 随机搜索是个很难打破的baseline

Experiments and Results

  The controller RNN使用Proximal Policy Optimization(PPO)举行训练,以global workqueue形式对子网络举行分布式训练,实验总共使用500块P100来训练queue中的网络,整个训练破费4天,相比之前的版本800块K40训练28天,训练加速了7倍以上,效果也更好

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  图4为显示最好的Normal Cell和Reduction Cell的结构,这个结构在CIFAR-10上搜索获得的,然后迁徙到ImageNet上。在获得卷积单元后,需要修改几个超参数来构建最终的网络,首先上单元重复数N,其次上初始单元的卷积核数,例如$4@64$为单元重复4次以及初始单元的卷积核数为64
  对于搜索的细节可以查看论文的Appendix A,需要注重的是,论文提出DropPath的改进版ScheduledDropPath这一正则化方式。DropPath是在训练时以一定的概率随机抛弃单元的路径(如Figure 4中的黄色框毗邻的边),但在论文的case中不太奏效。因此,论文改用ScheduledDropPath,在训练历程中线性增添抛弃的概率

Results on CIFAR-10 Image Classification

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  NASNet-A连系随机裁剪数据增强到达了SOTA

Linux Cgroup 入门教程:cpuset

Results on ImageNet Image Classification

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  论文将在CIFAR-10上学习到的结构迁徙到ImageNet上,最大的模子到达了SOTA(82.7%),与SENet的准确率一致,然则参数目大幅削减

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  图5直观地展示了NASNet家族与其它人工构建网络的对比,NASNet各方面都比人工构建的网络要好

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  论文也测试了移动端设置的网络准确率,这里要求网络的参数和盘算量要足够的小,NASNet依然有很抢眼的显示

Improved features for object detection

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  论文研究了NASNet在其它视觉义务中的显示,将NASNet作为Faster-RCNN的主干在COCO训练集上举行测试。对比移动端的网络,mAP到达29.6%mAP,提升了5.1%。而使用最好的NASNet,mAP则到达43.1%mAP,提升4.0%mAP。结果表明,NASNet能够提供更厚实且更通用的特征,从而在其它视觉义务也有很好的显示

Efficiency of architecture search methods

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

  论文对比了网络搜索方式的性能,主要是强化学习方式(RL)和随机搜索方式(RS)。对于最好网络,RL搜索到的准确率整体要比RS的高1%,而对于整体显示(好比top-5和top-25),两种方式则对照靠近。因此,论文以为只管RS是可行的搜索计谋,但RL在NASNet的搜索空间显示更好

CONCLUSION

  论文基于之前使用强化学习举行神经网络架构搜索的研究,将搜索空间从整体网络转化为卷积单元(cell),再按照设定堆叠成新的网络NASNet。这样不仅降低了搜索的复杂度,加速搜索历程,从原来的28天缩小到4天,而且搜索出来的结构具有扩展性,分别在小模子和大模子场景下都能使用更少的参数目和盘算量来逾越人类设计的模子,到达SOTA
  另外,由于搜索空间和模子结构的巧妙设计,使得论文能够将小数据集学习到的结构迁徙到大数据集中,通用性更好。而且该网络在目的检测领域的显示也是相当不错的


Appendix NASNet-B & NASNet-C

  论文另有另外两种结构NASNet-B和NASNet-C,其搜索空间和方式与NASNet-A有点区别,有兴趣的可以去看看原文的Appendix

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018



若是本文对你有辅助,贫苦点个赞或在看呗~
更多内容请关注 微信民众号【晓飞的算法工程条记】

NASNet : Google Brain经典作,革新搜索空间,性能周全逾越人工网络,继续领跑NAS领域 | CVPR 2018

原创文章,作者:28x0新闻网,如若转载,请注明出处:https://www.28x0.com/archives/3486.html