超出原点的均匀神经网络梯度流动力学理解
机器学习
2025-05-19 v2 最优化与控制
机器学习
摘要
近期研究探索了在小初始化下对均匀神经网络权重进行梯度流动力学训练，已在训练的早期阶段表明，权重保持较小且靠近原点，但趋向于方向收敛。基于此，本文研究了在均匀神经网络脱离原点后，具有局部 Lipschitz 连续梯度的梯度流动力学。从这一分析中获得的见解用于特征化脱离原点后梯度流遇到的第一个鞍点。此外，证明了在特定条件下，均匀前馈神经网络在脱离原点之前出现的稀疏结构将在脱离原点并直至到达下一个鞍点后保持恒定。
引用
@article{arxiv.2502.15952,
title = {Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin},
author = {Akshay Kumar and Jarvis Haupt},
journal= {arXiv preprint arXiv:2502.15952},
year = {2025}
}