统一并提升基于梯度的免训练神经架构搜索
机器学习
2022-10-13 v2 人工智能
摘要
神经架构搜索（NAS）因其自动化神经架构设计的能力而广受欢迎。最近，人们提出了许多免训练指标，以在无需训练的情况下实现NAS，从而使NAS更具可扩展性。尽管这些免训练指标在经验上表现出竞争力，但缺乏对其统一的理论理解。因此，(a) 这些指标之间的关系尚不清楚，(b) 对其经验性能缺乏理论解释，以及 (c) 现有的免训练NAS可能存在未开发的潜力，这些潜力或许可以通过统一的理论理解来揭示。为此，本文对基于梯度的免训练NAS进行了统一的理论分析，这使我们能够 (a) 从理论上研究它们的关系，(b) 从理论上保证它们的泛化性能，以及 (c) 利用我们统一的理论理解，开发一个名为混合NAS（HNAS）的新颖框架，该框架以一种原则性的方式持续提升免训练NAS的性能。值得注意的是，HNAS可以同时享受免训练NAS（即卓越的搜索效率）和基于训练的NAS（即卓越的搜索效果）的优势，我们已通过大量实验证明了这一点。
引用
@article{arxiv.2201.09785,
title = {Unifying and Boosting Gradient-Based Training-Free Neural Architecture Search},
author = {Yao Shu and Zhongxiang Dai and Zhaoxuan Wu and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2201.09785},
year = {2022}
}
备注
Published as a conference paper at NeurIPS 2022