从梯度白化的视角理解SOAP
机器学习
2025-09-30 v1
摘要
在预条件器特征基中使用Adam的Shampoo（SOAP）最近已成为一种有前景的神经网络训练优化算法，在语言建模任务中取得了优于Adam和Shampoo的训练效率。在这项工作中，我们从梯度白化的角度分析了Adam、Shampoo和SOAP，将它们的预条件器解释为对白化矩阵的近似，该矩阵捕捉了二阶曲率信息。我们进一步在Kronecker积假设下，建立了SOAP和Shampoo理想化版本之间的理论等价性。为了实证评估这些见解，我们使用nanoGPT和灰度图像上色重现了语言建模实验。我们的结果表明，SOAP表现出与Shampoo相似的收敛速度，并且在最终达到的损失上，相比Adam和Shampoo没有显著优势，这与它们在理论上的等价性相符。
引用
@article{arxiv.2509.22938,
title = {Understanding SOAP from the Perspective of Gradient Whitening},
author = {Yanqing Lu and Letao Wang and Jinbo Liu},
journal= {arXiv preprint arXiv:2509.22938},
year = {2025}
}