神经网络 Jacobian 正则化训练的无穷宽度分析
机器学习
2024-08-23 v2 机器学习
摘要
近年来对深度神经网络无穷宽度极限的理论分析加深了我们对这些网络的初始化、特征学习与训练的理解，并带来了寻找合适超参数、学习网络权重以及执行推断的新的实用技术。在本文中，我们拓展了这一研究方向，证明了该无穷宽度分析可以推广到深度神经网络的 Jacobian。我们证明，多层感知机（MLP）及其在初始化时的 Jacobian 在 MLP 隐藏层宽度趋于无穷时联合收敛于一个高斯过程（GP），并刻画了该 GP。我们还证明了在无穷宽度极限下，MLP 在所谓鲁棒训练（即对 Jacobian 施加正则化项的训练）下的演化由一个一阶线性常微分方程描述，该方程由一种变体的神经切线核（Neural Tangent Kernel）所确定。我们通过实验展示了我们理论结论对有限宽度宽网络的相关性，并经验性地分析了核回归解的性质，以获得对 Jacobian 正则化的深入理解。
引用
@article{arxiv.2312.03386,
title = {An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network},
author = {Taeyoung Kim and Hongseok Yang},
journal= {arXiv preprint arXiv:2312.03386},
year = {2024}
}
备注
Accepted at ICML 2024. 74 pages, 18 figures