宽神经网络作为高斯过程：来自深度平衡模型的启示
机器学习
2023-10-18 v1 机器学习
摘要
具有宽层的神经网络因其与高斯过程的等价性而备受关注，这种等价性能够在保持泛化性能的同时完美拟合训练数据，即所谓的良性过拟合。然而，现有结果主要集中于浅层或有限深度网络，亟需对具有无限深度层的宽神经网络（如神经常微分方程（ODE）和深度平衡模型（DEQ））进行全面分析。在本文中，我们具体研究了深度平衡模型（DEQ），这是一种各层共享权重矩阵的无限深度神经网络。我们的分析表明，当DEQ层宽度趋于无穷时，它收敛于一个高斯过程，确立了所谓的神经网络与高斯过程（NNGP）对应关系。值得注意的是，即便深度与宽度的极限顺序互换，该收敛性依然成立，而这在不典型的无限深度多层感知机（MLP）网络中并未观察到。此外，我们证明了对于任意成对不同的输入数据，相关的高斯向量保持非退化，从而利用NNGP核保证了相应核矩阵的最小特征值严格为正。这些发现可作为研究DEQ训练与泛化的基础要素，为该领域的未来研究奠定基础。
引用
@article{arxiv.2310.10767,
title = {Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models},
author = {Tianxiang Gao and Xiaokai Huo and Hailiang Liu and Hongyang Gao},
journal= {arXiv preprint arXiv:2310.10767},
year = {2023}
}
备注
Accepted by NeurIPS 2023