为何 Transformer 需要 Adam：一种 Hessian 视角
机器学习
2024-10-22 v4 人工智能
摘要
SGD 在 Transformer 上的表现显著差于 Adam，但原因尚不明确。在本文中，我们通过 Hessian 的视角提供解释：(i) Transformer 具有“异质性”：参数块之间的 Hessian 谱变化剧烈，我们将此现象称为“块异质性”；(ii) 异质性阻碍 SGD：在存在块异质性的问题上，SGD 的表现差于 Adam。为验证 (i) 和 (ii)，我们检查了各种 Transformer、CNN、MLP 和二次问题，发现 SGD 在没有块异质性的问题上表现可与 Adam 媲美，但在存在异质性时表现差于 Adam。我们初步的理论分析表明，SGD 表现较差是因为它对所有块应用单一的学习率，无法处理块间的异质性。如果使用如 Adam 中设计的按坐标学习率，这一限制可以得到改善。
引用
@article{arxiv.2402.16788,
title = {Why Transformers Need Adam: A Hessian Perspective},
author = {Yushun Zhang and Congliang Chen and Tian Ding and Ziniu Li and Ruoyu Sun and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:2402.16788},
year = {2024}
}
备注
Advances in Neural Information Processing Systems, 2024