平衡的一次性神经架构优化
机器学习
2020-04-01 v2 神经与进化计算
机器学习
摘要
对候选架构进行排序的能力是神经架构搜索（NAS）性能的关键。一次性 NAS 被提出以降低开销，但其性能不如传统 NAS，且稳定性不足。我们对此进行了研究，发现一次性训练下各架构与独立完整训练下各架构之间的排序相关性较差，这误导了算法去发现更优架构。进一步，我们表明在当前一次性方法下不同规模架构的训练是不平衡的，这导致架构的评估性能难以预测其真实性能，并严重影响了排序相关性。因此，我们提出了 Balanced NAO，在搜索过程中引入超网（supernet）的平衡训练，通过按模型大小比例采样架构，使大架构比小架构获得更多更新。综合实验验证了我们所提方法的有效性和鲁棒性，从而带来更稳定的搜索。最终发现的架构在移动端设置下相较基线有显著提升，在 CIFAR-10 上测试错误率为 2.60%，在 ImageNet 上 top-1 准确率为 74.4%。代码与模型检查点将公开可用。代码位于 github.com/renqianluo/NAO_pytorch。
引用
@article{arxiv.1909.10815,
title = {Balanced One-shot Neural Architecture Optimization},
author = {Renqian Luo and Tao Qin and Enhong Chen},
journal= {arXiv preprint arXiv:1909.10815},
year = {2020}
}
备注
Code and model checkpoints are publicly available at https://github.com/renqianluo/NAO_pytorch