BayesNAS：一种用于神经架构搜索的贝叶斯方法
机器学习
2019-06-11 v2 机器学习
摘要
一次性神经架构搜索（NAS）是一种有前景的方法，可在无需单独训练的情况下显著减少搜索时间。它可被视为对过参数化网络上架构参数的网络压缩问题。然而，大多数一次性 NAS 方法存在两个问题。首先，节点与其前驱和后继之间的依赖关系常被忽略，导致对零操作的不当处理。其次，基于量级对架构参数进行剪枝值得质疑。在本文中，我们采用经典的贝叶斯学习方法来缓解这两个问题，通过使用层次化自动相关性确定（HARD）先验对架构参数进行建模。与其他 NAS 方法不同，我们仅训练过参数化网络一个周期，然后更新架构。令人印象深刻的是，这使得我们仅使用单个 GPU 在 0.2 GPU 天内就在 CIFAR-10 上找到了架构。通过迁移到 ImageNet 也可获得具有竞争力的性能。作为副产品，我们的方法可通过强制结构稀疏性直接应用于压缩卷积神经网络，从而实现极高稀疏度的网络而不损失精度。
引用
@article{arxiv.1905.04919,
title = {BayesNAS: A Bayesian Approach for Neural Architecture Search},
author = {Hongpeng Zhou and Minghao Yang and Jun Wang and Wei Pan},
journal= {arXiv preprint arXiv:1905.04919},
year = {2019}
}
备注
International Conference on Machine Learning 2019