分阶段神经架构搜索
计算机视觉与模式识别
2020-10-21 v2
摘要
现代卷积网络如 ResNet 和 NASNet 在许多计算机视觉应用中取得了最先进的结果。这些架构由阶段组成，阶段是在相同分辨率表示上操作的一组层。已有研究表明，增加每个阶段中的层数可提升网络的预测能力。然而，由此得到的架构在浮点运算量、内存需求和推理时间方面计算代价高昂。因此，需要大量人力来评估深度与性能之间的不同权衡。为解决此问题，近期工作主要借助神经架构搜索（NAS）来自动设计高性能架构。当前的 NAS 策略需分析大量可能的候选架构，因而需要庞大的计算资源并耗费许多 GPU 天。受此启发，我们提出一种 NAS 方法，以高效设计精确且低成本的卷积架构，并证明设计这些架构的高效策略是逐阶段学习深度。为此，我们的方法根据各阶段的重要性逐步增加其深度，使重要性低的阶段保持较浅，而重要性高的阶段变得更深。我们在 CIFAR 和不同版本的 ImageNet 数据集上开展实验，结果表明我们的方法发现的架构比人工设计的架构具有更好的准确率和效率。此外，我们表明在 CIFAR-10 上发现的架构可成功迁移到大型数据集。与以往的 NAS 方法相比，我们的方法效率显著提升，因其评估的模型数量少一个数量级，并给出与最先进水平相当的架构。
引用
@article{arxiv.2004.11178,
title = {Stage-Wise Neural Architecture Search},
author = {Artur Jordao and Fernando Akio and Maiko Lie and William Robson Schwartz},
journal= {arXiv preprint arXiv:2004.11178},
year = {2020}
}
备注
Accepted for publication at International Conference on Pattern Recognition (ICPR) 2020