迈向 NNGP 引导的神经架构搜索
机器学习
2020-11-13 v1
摘要
宽贝叶斯神经网络的预测由高斯过程描述，称为神经网络高斯过程（Neural Network Gaussian Process, NNGP）。许多模型的 NNGP 核解析形式已知，但计算卷积架构的精确核代价高昂。可通过初始化时有限网络的蒙特卡洛估计获得这些核的有效近似。当数据集规模较小时，蒙特卡洛 NNGP 推断在 FLOPs 上比梯度下降训练廉价数个数量级。由于 NNGP 推断提供了网络架构性能的廉价度量，我们研究其作为神经架构搜索（NAS）信号的潜力。我们在 NAS-bench 101 数据集上计算约 423k 个网络在 CIFAR-10 上的 NNGP 性能，并将其效用与通过缩短的基于梯度的训练获得的常规性能度量比较。我们对移动神经架构搜索（MNAS）空间中 ImageNet 的 10k 个随机采样网络进行类似分析。我们发现基于 NNGP 的度量具有比较优势，并讨论潜在应用。特别地，我们提出 NNGP 性能是一种独立于训练所得度量的廉价信号，既可用于缩减大型搜索空间，也可用于改进基于训练的性能度量。
引用
@article{arxiv.2011.06006,
title = {Towards NNGP-guided Neural Architecture Search},
author = {Daniel S. Park and Jaehoon Lee and Daiyi Peng and Yuan Cao and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:2011.06006},
year = {2020}
}
备注
13 + 6 pages, 19 figures; open-source code available at https://github.com/google-research/google-research/tree/master/nngp_nas