Adam 通过坐标适应性探索损失景观中的 $\ell_\infty$ 几何优势
机器学习
2025-06-12 v3
摘要
Adam 在训练语言模型时优于 SGD，但这种优势尚未得到良好的理论理解——以往针对 Adam 和 SGD 的收敛分析主要关注步数 ，在非凸情形下已达到 minimax 最优，二者均为 。本文我们认为，Adam 对损失景观中良好 几何的利用是其相对于 SGD 关键优势。具体而言，我们提出一种新的 Adam 收敛分析方法，基于假设损失函数在 几何上光滑而非更常见的 几何，从而获得 GPT-2 和 ResNet 模型的更佳经验光滑常数。我们的实验确认，当有利的 几何被改变时，Adam 性能显著下降，而 SGD 则保持可预测性。我们还将收敛分析推广至块状 Adam，基于新的块状光滑性假设。
引用
@article{arxiv.2410.08198,
title = {Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity},
author = {Shuo Xie and Mohamad Amin Mohamadi and Zhiyuan Li},
journal= {arXiv preprint arXiv:2410.08198},
year = {2025}
}