简单旋转如何影响 Adam 的隐式偏差
机器学习
2025-10-29 v1
摘要
自适应梯度方法如 Adam 和 Adagrad 在机器学习中广泛应用，但其对所学习模型泛化性的影响——相对于像梯度下降这类方法——仍不完全了解。先前的二分类工作表明，Adam 存在一种“丰富性偏差”，这有助于其学习的非线性决策边界更接近于贝叶斯最优决策边界。然而，Adam 所采用的坐标级预条件化方案会使其对特征空间的正交变换敏感。我们表明，这种敏感性可以导致 Adam 的竞争优势被颠覆：即使对底层数据分布进行微小的旋转，也会使 Adam 失去其丰富性偏差，收敛到一个离贝叶斯最优决策边界更远的线性决策边界。为了缓解这一问题，我们表明，最近提出的一种重新参数化方法——通过对优化目标施加正交变换——可为任何一阶方法赋予对数据旋转的等效性，我们在实证上演示了其恢复 Adam 偏向丰富决策边界能力的方法。
引用
@article{arxiv.2510.23804,
title = {How do simple rotations affect the implicit bias of Adam?},
author = {Adela DePavia and Vasileios Charisopoulos and Rebecca Willett},
journal= {arXiv preprint arXiv:2510.23804},
year = {2025}
}