过参数化网络优化中的对称性作用
机器学习
2026-05-11 v3 人工智能
摘要
过参数化是深度学习成功的核心因素，但其如何改善优化机制仍不完全为人所知。我们对神经网络中的权重空间对称性进行分析，表明过参数化引入了两种有利的额外对称性。首先，我们证明这些对称性在 Hessian 上充当对角预条件化形式，使得每个功能上等价解类的解中存在更好的条件化最小值。其次，我们表明过参数化增加了全球最小值靠近典型初始化位置的概率，从而使这些有利解更易被达成。这些结果为连接损失景观几何与简单偏差提供了潜在路径。经验上，我们观察到更宽的网络具有更低的顶部特征值、更小的条件数以及更快的收敛速度，这与我们的分析相吻合。我们的分析为理解过参数化及宽度增长作为损失景观几何变换提供了统一框架。
引用
@article{arxiv.2604.25150,
title = {The Role of Symmetry in Optimizing Overparameterized Networks},
author = {Kusha Sareen and Mohammad Pedramfar and Sékou-Oumar Kaba and Mehran Shakerinava and Siamak Ravanbakhsh},
journal= {arXiv preprint arXiv:2604.25150},
year = {2026}
}