一遍 SGD 在过参数化二次网络中的逃逸动力学与隐式偏差
无序系统与神经网络
2026-04-06 v1 统计力学
机器学习
摘要
我们分析了在 teacher--student 框架下，具有二次激活函数的两层神经网络的单遍随机梯度下降动力学。在高维 regime 中，其中输入维数 N 和样本数 M 在固定比率 α = M/N 下发散，对于有限隐藏宽度（p,p*）的 student 和 teacher，我们研究支配 student--teacher 和 student--student overlap 矩阵演化的低维常微分方程。我们证明，过参数化（p > p*）仅在指数衰减预因子中略微加快了从泛化性差的平坦区的逃逸。随后，我们检查了不受约束的权重范数如何引入连续旋转对称性，导致 p > 1 时存在零损失解的非平凡流形。从该流形中，动力学始终选择距离随机初始化最近的解，正如由支配 student--teacher 和 student--student overlap 演化 ODE 的守恒量所致。最后，对 population-loss 场景的 Hessian 分析确认，平坦区和解流形分别对应至少有一个负特征值的鞍点和 population-loss 几何中的边缘最小值。
引用
@article{arxiv.2604.03068,
title = {Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks},
author = {Dario Bocchi and Theotime Regimbeau and Carlo Lucibello and Luca Saglietti and Chiara Cammarota},
journal= {arXiv preprint arXiv:2604.03068},
year = {2026}
}
备注
30 pages, 6 figures