后验引导的神经架构搜索
机器学习
2019-12-09 v2 机器学习
摘要
神经架构搜索（NAS）的出现极大推进了网络设计的研究。近期如基于梯度的方法或一次性方法等提议显著提升了 NAS 的效率。本文中，我们从贝叶斯视角表述 NAS 问题。我们提出显式估计网络架构与权重对上的联合后验分布。相应地，提出了一种混合网络表示，使我们能够利用变分 Dropout（Variational Dropout），从而让后验分布的近似完全基于梯度且高效。随后提出一种后验引导采样方法，用于采样架构候选并直接评估。作为一种贝叶斯方法，我们的后验引导 NAS（PGNAS）避免了调谐大量超参数，并能在后验概率空间实现非常有效的架构采样。有趣的是，它也带来对一次性 NAS 中权重共享的更深入洞察，并自然缓解了由权重共享引起的采样架构与权重之间的失配。我们在基础图像分类任务上验证了 PGNAS 方法。在 Cifar-10、Cifar-100 和 ImageNet 上的结果表明，PGNAS 在 NAS 方法中实现了精度与搜索速度的良好权衡。例如，它花费 11 GPU 天搜索出一个极具竞争力的架构，在 Cifar10 和 Cifar100 上测试误差分别为 1.98% 和 14.28%。
引用
@article{arxiv.1906.09557,
title = {Posterior-Guided Neural Architecture Search},
author = {Yizhou Zhou and Xiaoyan Sun and Chong Luo and Zheng-Jun Zha and Wenjun Zeng},
journal= {arXiv preprint arXiv:1906.09557},
year = {2019}
}
备注
Accepted by AAAI 2020