以 BONAS 弥合基于采样与一次性神经架构搜索之间的鸿沟
机器学习
2020-11-26 v4 机器学习
摘要
神经架构搜索（NAS）在寻找更优神经网络设计方面已展现出巨大潜力。基于采样的 NAS 是最可靠的方法，旨在探索搜索空间并评估最有前景的架构。然而，其计算成本非常高昂。作为补救，一次性方法已成为利用权重共享加速 NAS 的流行技术。然而，由于差异巨大的网络之间共享权重，一次性方法的可靠性低于基于采样的方法。本工作中，我们提出 BONAS（Bayesian Optimized Neural Architecture Search，贝叶斯优化神经架构搜索），一种基于采样的 NAS 框架，其利用权重共享加速以同时评估多个相关架构。具体而言，我们应用图卷积网络预测器作为贝叶斯优化的代理模型，在每次迭代中选择多个相关候选模型。随后我们应用权重共享同时训练多个候选模型。该方法不仅显著加速了传统的基于采样的方法，还保持了其可靠性。这是因为相关架构间的权重共享比一次性方法中更为可靠。我们进行了大量实验以验证本方法相对于许多竞争算法的有效性。
引用
@article{arxiv.1911.09336,
title = {Bridging the Gap between Sample-based and One-shot Neural Architecture Search with BONAS},
author = {Han Shi and Renjie Pi and Hang Xu and Zhenguo Li and James T. Kwok and Tong Zhang},
journal= {arXiv preprint arXiv:1911.09336},
year = {2020}
}
备注
Accepted by NeurIPS 2020