过参数化下两层神经网络的全局极小几何性质与局部恢复
机器学习
2025-04-11 v4 动力系统
摘要
在温和假设下，我们研究了两层神经网络在全局极小邻域内的损失景观几何。利用新技术，我们证明了：(i) 随着样本量增长，具有零泛化误差的全局极小如何在几何上与其他全局极小分离；以及 (ii) 梯度流动力学的局部收敛性质与速率。我们的结果表明，两层神经网络在过参数化 regime 下可被局部恢复。
引用
@article{arxiv.2309.00508,
title = {Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization},
author = {Leyang Zhang and Yaoyu Zhang and Tao Luo},
journal= {arXiv preprint arXiv:2309.00508},
year = {2025}
}
备注
Some typos about separating inputs are fixed