神经架构搜索全面综述：挑战与解决方案
机器学习
2021-03-03 v3 机器学习
摘要
深度学习凭借其强大的自动表征能力，在许多领域取得了突破性和实质性进展。已证明神经架构设计对数据的特征表示和最终性能至关重要。然而，神经架构的设计严重依赖于研究人员的先验知识和经验。并且由于人类固有知识的局限性，人们难以跳出原有思维定式并设计出最优模型。因此，一个直观的想法是尽可能减少人工干预，让算法自动设计神经架构。神经架构搜索（Neural Architecture Search，NAS）正是这样一种革命性算法，且相关研究工作繁杂而丰富。因此，对 NAS 进行一次全面系统的综述至关重要。先前的相关综述已开始主要基于 NAS 的关键组件进行分类：搜索空间、搜索策略和评估策略。虽然这种分类方法较为直观，但读者难以把握其中涉及的挑战与标志性工作。因此，在本综述中，我们提供了一个新视角：从最早 NAS 算法的特点概述入手，总结这些早期 NAS 算法中的问题，进而为后续相关研究提供解决方案。此外，我们对这些工作进行了详细而全面的分析、比较与总结。最后，我们给出了一些可能的未来研究方向。
引用
@article{arxiv.2006.02903,
title = {A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions},
author = {Pengzhen Ren and Yun Xiao and Xiaojun Chang and Po-Yao Huang and Zhihui Li and Xiaojiang Chen and Xin Wang},
journal= {arXiv preprint arXiv:2006.02903},
year = {2021}
}
备注
Accepted by ACM Computing Surveys 2021