深度神经网络作为高斯过程
机器学习
2018-03-06 v3 机器学习
摘要
人们早已知道,在参数具有独立同分布先验的单层全连接神经网络中,当网络宽度趋于无穷时,该网络等价于一个高斯过程(GP)。这种对应关系使得能够通过计算相应的 GP 对无限宽神经网络在回归任务上进行精确的贝叶斯推断。近来,模仿多层随机神经网络的核函数已被开发出来,但仅在贝叶斯框架之外。因此,先前的工作未能指出这些核函数可用作 GP 的协方差函数,并允许使用深度神经网络进行完全贝叶斯预测。在本工作中,我们推导了无限宽深度网络与 GP 之间的精确等价性。我们进一步开发了一个计算高效的流程来计算这些 GP 的协方差函数。然后我们使用所得的 GP 在 MNIST 和 CIFAR-10 上对宽深度神经网络进行贝叶斯推断。我们观察到,随着层宽增加,训练后的神经网络精度接近相应 GP 的精度,且 GP 的不确定性与其训练网络预测误差强相关。我们进一步发现,随着有限宽训练网络变得更宽且更类似于 GP,测试性能提升,因此 GP 预测通常优于有限宽网络的预测。最后,我们将这些 GP 的性能与近期随机神经网络中信号传播理论联系起来。
引用
@article{arxiv.1711.00165,
title = {Deep Neural Networks as Gaussian Processes},
author = {Jaehoon Lee and Yasaman Bahri and Roman Novak and Samuel S. Schoenholz and Jeffrey Pennington and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:1711.00165},
year = {2018}
}
备注
Published version in ICLR 2018. 10 pages + appendix