打破空间爆炸的诅咒：通过课程搜索实现高效神经架构搜索
计算机视觉与模式识别
2020-08-06 v2
摘要
神经架构搜索（NAS）已成为自动寻找有效架构的重要方法。为了覆盖所有可能的好架构，我们需要在包含数十亿候选架构的极大搜索空间中进行搜索。更关键的是，给定一个大的搜索空间，我们可能面临非常具有挑战性的空间爆炸问题。然而，由于计算资源的限制，我们只能采样很小一部分架构，这为训练提供了不充分的信息。因此，现有方法可能经常产生次优架构。为了缓解这个问题，我们提出了一种课程搜索方法，该方法从小搜索空间开始，并逐步整合所学知识以指导在大空间中的搜索。通过所提出的搜索策略，我们的课程神经架构搜索（CNAS）方法显著提高了搜索效率，并找到了比现有NAS方法更好的架构。在CIFAR-10和ImageNet上的大量实验证明了该方法的有效性。
引用
@article{arxiv.2007.07197,
title = {Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search},
author = {Yong Guo and Yaofo Chen and Yin Zheng and Peilin Zhao and Jian Chen and Junzhou Huang and Mingkui Tan},
journal= {arXiv preprint arXiv:2007.07197},
year = {2020}
}
备注
Accepted by ICML 2020