消解神经网络优化中的奇异性诅咒
机器学习
2026-02-16 v2 人工智能
摘要
本文从较少探索却富有洞察力的视角研究深层神经网络的优化不稳定性：参数空间奇异性的出现与放大。我们的分析表明，参数奇异性必然随梯度更新而增长，并进一步加剧与表征的对齐，导致表征空间中的奇异性增加。我们指出，梯度Frobenius范数由权矩阵最大奇异值所界定；随着训练进行，权重与表征奇异性之间的相互强化增长，称为奇异性诅咒，放松了这些界限，加剧了锋利损失爆炸的风险。为抵消这一现象，我们提出参数奇异性平滑（PSS）方法，用于平滑权矩阵的奇异谱。广泛实验表明，PSS减轻了不稳定性，甚至在失败后恢复可训练性，并提升了训练效率与泛化能力。
引用
@article{arxiv.2602.01308,
title = {Dispelling the Curse of Singularities in Neural Network Optimizations},
author = {Hengjie Cao and Mengyi Chen and Yifeng Yang and Fang Dong and Ruijun Huang and Anrui Chen and Jixian Zhou and Mingzhi Dong and Yujiang Wang and Dongsheng Li and Wenyi Fang and Yuanyi Lin and Fan Wu and Li Shang},
journal= {arXiv preprint arXiv:2602.01308},
year = {2026}
}