Adam 还是高斯牛顿法？基于基准对齐与 SGD 噪声的比较研究
机器学习
2025-10-16 v1
摘要
对角预条件器是二阶优化器的可计算近似值，已在加速深度学习模型训练方面显示出巨大的潜力。两种主要方法分别基于 Adam 和高斯牛顿 (GN) 方法：前者利用当前梯度的统计信息，是神经网络的事实标准优化器，后者则使用高斯牛顿矩阵的对角元素，支撑着一些近期的对角优化器如 Sophia。在本工作中，我们通过两个关键因素的视角来比较这两种对角预条件方法：预条件器中基准的选择，以及小批量梯度噪声的影响。为深入了解，我们在二次目标和 logistic 回归问题上进行分析，涵盖四个象限。我们表明，无论基准如何，在某些情况下，Adam 在全批设置下甚至优于 GN 和 GN。相反，在随机情形下，Adam 对线性回归在高斯数据假设下表现得类似于 GN。这些理论结果得到了在凸目标和非凸目标上的实证研究的支持。
引用
@article{arxiv.2510.13680,
title = {Adam or Gauss-Newton? A Comparative Study In Terms of Basis Alignment and SGD Noise},
author = {Bingbin Liu and Rachit Bansal and Depen Morwani and Nikhil Vyas and David Alvarez-Melis and Sham M. Kakade},
journal= {arXiv preprint arXiv:2510.13680},
year = {2025}
}