神经网络中的双下降曲线：基于高斯过程的新视角
机器学习
2023-05-29 v5 机器学习
摘要
神经网络中的双下降曲线描述了这样一种现象：泛化误差随参数增加而先下降，在达到少于数据点数量的最优参数个数后上升，然后在过参数化 regime 中再次下降。本文利用随机矩阵理论的技术，将经验特征协方差矩阵的谱分布刻画为神经网络高斯过程（NNGP）核谱的依赖于宽度的扰动，从而在神经网络背景下建立了NNGP文献与随机矩阵理论文献之间的新联系。我们的解析表达式使我们能够研究相应核与GP回归的泛化行为，并为双下降现象提供了新解释，即它由依赖于宽度的经验核与独立于宽度的NNGP核之间的差异所支配。
引用
@article{arxiv.2102.07238,
title = {Double-descent curves in neural networks: a new perspective using Gaussian processes},
author = {Ouns El Harzli and Bernardo Cuenca Grau and Guillermo Valle-Pérez and Ard A. Louis},
journal= {arXiv preprint arXiv:2102.07238},
year = {2023}
}