面向随机梯度的条目级裁剪可否实现谱控制？
机器学习
2026-05-28 v1
摘要
训练过程中的不稳定性（如loss尖峰）常常源于随机梯度噪声。由于语言训练数据中稀有表达和多层组合，噪声呈现重尾分布并存活于mini-batch平均。现有补救措施在结构与成本之间进行权衡：向量范数裁剪忽略权重更新的矩阵结构，而谱归一化(如Muon(Jordan等2024))则在额外成本下尊重这种结构。我们表明，这种权衡可以被平衡。实际梯度噪声似乎类似于条目级重尾污染，第一阶扰动分析揭示了此类噪声的局部化特性，在此基础上，简单的条目级方法可实现谱控制。利用这一点，我们推导了在高斯信号先验下，对贝叶斯最优条目级估计器的可计算替代方案。我们在阿尔卡污染噪声下建立了的收敛保证。经验上，我们发现光滑收缩在NanoGPT预训练中改善Adam效果，节省约7%的训练token。进一步地，我们发现，在谱归一化之前应用条目级裁剪可为Muon带来约2%的token节省。
引用
@article{arxiv.2605.27733,
title = {Can Entry-Wise Clipping Give Spectral Control of Stochastic Gradients?},
author = {Zitao Song and Cedar Site Bai and Zhe Zhang and Brian Bullins and David F. Gleich},
journal= {arXiv preprint arXiv:2605.27733},
year = {2026}
}