面向神经架构搜索的快速性能估计
机器学习
2021-06-09 v2 机器学习
摘要
对所提架构的泛化性能进行可靠而高效的评估，是神经架构搜索（NAS）取得成功的关键。传统方法面临多种局限：将每个架构训练至收敛代价高昂，早停验证精度可能与完全训练后的性能相关性很差，而基于模型的估计器需要大量训练集。我们转而提出基于一种简单的训练速度度量来估计最终测试性能。我们的估计器在理论上受泛化与训练速度之间联系的启发，并借鉴了贝叶斯设定下PAC-Bayes界重新表述的思路。我们的无模型估计器简单、高效、实现成本低，且在部署前无需超参数调优或代理训练。我们在多个NAS搜索空间上证明，我们的估计器在与真实测试性能排序的相关性上持续优于其他替代方法。我们进一步表明，我们的估计器可轻松融入基于查询和一次性NAS方法中，以提升搜索的速度或质量。
引用
@article{arxiv.2006.04492,
title = {Speedy Performance Estimation for Neural Architecture Search},
author = {Binxin Ru and Clare Lyle and Lisa Schut and Miroslav Fil and Mark van der Wilk and Yarin Gal},
journal= {arXiv preprint arXiv:2006.04492},
year = {2021}
}
备注
23 pages, 14 figures