为神经架构搜索演化搜索空间
计算机视觉与模式识别
2021-08-19 v2
摘要
神经架构设计的自动化一直是替代人类专家的渴求之选。近期工作搜索空间较小，更易优化但最优解的上界有限。那些方法需要额外的人工设计，以针对特定任务与算法能力提出更合适的空间。为进一步提升神经架构搜索的自动化程度，我们提出一种神经搜索空间演化（NSE）方案，通过维护一个优化的搜索空间子集来迭代放大先前工作的结果。该设计将精心设计搜索空间的需求降至最低。我们进一步引入可学习的多分支设置以扩展可获得架构的灵活性。采用所提方法，在渐进搜索后续搜索空间时取得了一致的性能提升。我们在 ImageNet 上以 333M FLOPs 达到 77.3% 的 top-1 重训练准确率，在不涉及知识蒸馏或权重剪枝的先前自动生成架构中取得了 SOTA 性能。在采用延迟约束时，我们的结果也优于先前性能最佳的移动模型，取得了 77.9% 的 Top-1 重训练准确率。
引用
@article{arxiv.2011.10904,
title = {Evolving Search Space for Neural Architecture Search},
author = {Yuanzheng Ci and Chen Lin and Ming Sun and Boyu Chen and Hongwen Zhang and Wanli Ouyang},
journal= {arXiv preprint arXiv:2011.10904},
year = {2021}
}
备注
Accepted for publication at the 2021 International Conference on Computer Vision (ICCV 2021)