DOME：通过尖锐方向子空间滤波改善随机梯度下降中的信噪比
机器学习
2026-02-04 v2
摘要
深度神经网络的随机梯度沿优化轨迹表现出强相关性，并且通常与一组与异常特征值相关的Hessian特征向量对齐。最近的工作表明，将梯度投影远离此Hessian异常子空间对优化影响很小，尽管它捕获了很大一部分梯度变异性。由于在实践中计算Hessian矩阵是难以处理的，我们基于随机梯度的协方差，引入了对干扰子空间的一个原则性的一阶刻画，并提出了一种在线估计它的高效方法。我们表明，移除该子空间对优化影响也很小，并且为对梯度信噪比敏感的应用（如梯度压缩）带来了实际益处。
引用
@article{arxiv.2507.03545,
title = {DOME: Improving Signal-to-Noise in Stochastic Gradient Descent via Sharp-Direction Subspace Filtering},
author = {Julien Nicolas and Mohamed Maouche and Sonia Ben Mokhtar and Mark Coates},
journal= {arXiv preprint arXiv:2507.03545},
year = {2026}
}