NetAdaptV2：基于快速超网络训练与架构优化的高效神经架构搜索
计算机视觉与模式识别
2021-04-02 v1 机器学习
摘要
神经架构搜索（NAS）通常包括三个主要步骤：训练超网络、训练并评估采样的深度神经网络（DNN）以及训练所发现的DNN。现有多数工作以某些步骤大幅变慢为代价来加速其他步骤，或牺牲对非可微搜索指标的支持。各步骤耗时减少的不平衡限制了总搜索时间的缩减，而无法支持非可微搜索指标则限制了所发现DNN的性能。本文提出NetAdaptV2，通过三项创新在更好地平衡各步骤耗时的同时支持非可微搜索指标。首先，我们提出通道级旁路连接，将网络深度与层宽合并为单一搜索维度，以减少训练和评估采样DNN的时间。其次，提出有序丢弃（ordered dropout）在单次前向-反向传播中训练多个DNN，以降低训练超网络的时间。第三，我们提出多层坐标下降优化器，在每次优化迭代中考虑多层间的相互作用，在支持非可微搜索指标的同时提升所发现DNN的性能。借助这些创新，NetAdaptV2在ImageNet和NYU Depth V2上分别将总搜索时间减少至多和，并发现比最优NAS工作具有更优精度-延迟/精度-MAC权衡的DNN。此外，所发现的DNN在相同延迟下比NAS发现的MobileNetV3的top-1精度高1.8%。项目网站为http://netadapt.mit.edu。
引用
@article{arxiv.2104.00031,
title = {NetAdaptV2: Efficient Neural Architecture Search with Fast Super-Network Training and Architecture Optimization},
author = {Tien-Ju Yang and Yi-Lun Liao and Vivienne Sze},
journal= {arXiv preprint arXiv:2104.00031},
year = {2021}
}
备注
Accepted by CVPR 2021