两种几何的故事：自适应优化器与非欧几里得下降
机器学习
2025-11-26 v1
摘要
自适应优化器在仅适应当前梯度的情况下可简化为归一化梯度下降 (NSD)，这表明两者算法族之间存在密切联系。然而，其分析之间的关键区别在于它们所依赖的几何结构，例如光滑性概念。在凸设置下，自适应优化器受制于更强的自适应光滑性条件，而 NSD 依赖于标准光滑性概念。我们将自适应光滑性理论扩展到非凸情形，证明其精确刻画了自适应优化器的收敛性。此外，我们在凸设置下证明，自适应光滑性使得使用 Nesterov 动量的自适应优化器实现加速，这在标准光滑性条件下对于某些非欧几里得几何是无法实现的。我们进一步通过引入自适应梯度方差来发展类似的随机优化比较，自适应梯度方差类似于自适应光滑性，导致无法在标准梯度方差条件下实现的维度无关收敛保证。
关键词
引用
@article{arxiv.2511.20584,
title = {A Tale of Two Geometries: Adaptive Optimizers and Non-Euclidean Descent},
author = {Shuo Xie and Tianhao Wang and Beining Wu and Zhiyuan Li},
journal= {arXiv preprint arXiv:2511.20584},
year = {2025}
}