AdvantageNAS：基于信用分配的高效神经架构搜索
机器学习
2021-03-11 v2 人工智能
神经与进化计算
摘要
神经架构搜索（NAS）是一种无需人力或专家知识即可自动设计神经网络架构的方法。然而，NAS的高计算成本限制了其在商业应用中的使用。两种近期的NAS范式，即一次性（one-shot）和稀疏传播（sparse propagation），分别降低了时间和空间复杂度，为解决该问题提供了线索。本文针对一次性与稀疏传播NAS提出一种新颖的搜索策略，即AdvantageNAS，其通过减少搜索迭代次数进一步降低了NAS的时间复杂度。AdvantageNAS是一种基于梯度的方法，通过在架构更新的梯度估计中引入信用分配来提高搜索效率。在NAS-Bench-201和PTB数据集上的实验表明，与现有稀疏传播NAS相比，AdvantageNAS在有限时间预算下发现了性能更高的架构。为了进一步揭示AdvantageNAS的可靠性，我们从理论上对其进行了研究，发现它能单调改善期望损失从而收敛。
引用
@article{arxiv.2012.06138,
title = {AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment},
author = {Rei Sato and Jun Sakuma and Youhei Akimoto},
journal= {arXiv preprint arXiv:2012.06138},
year = {2021}
}
备注
The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21)