神经网络 Lipschitz 连续性训练中的优化诱导动力学
机器学习
2025-11-17 v2 人工智能
机器学习
摘要
Lipschitz 连续性刻画了神经网络对小输入扰动的极端敏感性;然而其在训练期间(即随时间演化)的动力学仍未得到充分探索。我们提出了一个严格的数学框架来建模神经网络在随机梯度下降(SGD)训练期间Lipschitz 连续性随时间的演化。该框架利用一组随机微分方程(SDEs)来捕捉确定性力与随机力。我们的理论分析识别了三个主要驱动因素:(i)由优化动力学诱导的梯度流在参数矩阵算子范Jacobian上的投影;(ii)源自小批量抽样随机性的梯度噪声在算子范Jacobian上的投影;(iii)梯度噪声在参数矩阵算子范Hessian上的投影。此外,我们的理论框架阐明了噪声监督、参数初始化、批量大小和小批量抽样轨迹等因素如何塑造神经网络Lipschitz 连续性的演化。我们的实验结果表明,理论意涵与观察行为之间存在强烈的一致性。
引用
@article{arxiv.2506.18588,
title = {Optimization-Induced Dynamics of Lipschitz Continuity in Neural Networks},
author = {Róisín Luo and James McDermott and Christian Gagné and Qiang Sun and Colm O'Riordan},
journal= {arXiv preprint arXiv:2506.18588},
year = {2025}
}