ProxyBO：通过带零成本代理的贝叶斯优化加速神经架构搜索
机器学习
2023-03-14 v4
摘要
设计神经架构需要大量人工努力。这促进了神经架构搜索（NAS）的发展以自动化设计。先前的NAS方法取得了有前景的结果但运行缓慢，而零成本代理运行极快但前景较差。因此，通过这些零成本代理来加速NAS具有巨大潜力。现有方法有两个局限，即可预见性差的可靠性和一次性使用。为解决这些局限，我们提出ProxyBO，一种高效的贝叶斯优化（BO）框架，利用零成本代理加速神经架构搜索。我们应用泛化能力度量来估计代理在每次迭代中于该任务上的适用性，并设计了一种新颖的获取函数，基于代理的动态影响将BO与零成本代理结合。大量实证研究表明，ProxyBO在来自三个公开基准的五个任务上持续优于有竞争力的基线。具体而言，ProxyBO相对于最先进方法REA和BRP-NAS分别实现了高达5.41倍和3.86倍的加速。
引用
@article{arxiv.2110.10423,
title = {ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies},
author = {Yu Shen and Yang Li and Jian Zheng and Wentao Zhang and Peng Yao and Jixiang Li and Sen Yang and Ji Liu and Bin Cui},
journal= {arXiv preprint arXiv:2110.10423},
year = {2023}
}
备注
Accepted by AAAI 2023