具有瓶颈的宽神经网络是深度高斯过程
机器学习
2020-07-07 v3 机器学习
摘要
近来关于神经网络“宽极限”的研究表明，当所有隐藏层宽度趋于无穷时，贝叶斯神经网络（BNN）收敛于高斯过程（GP）。然而，这些结果不适用于要求一个或多个隐藏层保持窄宽的架构。在本文中，我们考虑 BNN 的宽极限，其中某些称为“瓶颈”的隐藏层保持有限宽度。其结果是一个 GP 的组合，我们称之为“瓶颈神经网络高斯过程”（bottleneck NNGP）。尽管直观，证明的微妙之处在于证明网络组合的宽度极限事实上是极限 GP 的组合。我们还对单瓶颈 NNGP 进行了理论分析，发现瓶颈在多输出网络的输出之间引入了依赖性，该依赖性贯穿极深的后瓶颈层而持续存在，并阻止网络核在极深的后瓶颈层丧失判别力。
引用
@article{arxiv.2001.00921,
title = {Wide Neural Networks with Bottlenecks are Deep Gaussian Processes},
author = {Devanshu Agrawal and Theodore Papamarkou and Jacob Hinkle},
journal= {arXiv preprint arXiv:2001.00921},
year = {2020}
}