协变梯度下降
机器学习
2025-04-15 v2 高能物理 - 理论
最优化与控制
摘要
我们提出梯度下降方法的显式协变形式，确保在任意坐标系和一般曲面可训练空间中的一致性。优化动力学通过协变力向量和协变度张量定义，这些矩由梯度的前后统计矩计算得出。这些矩通过带指数权重的时间平均估计，保持线性计算复杂度。我们证明诸如 RMSProp、Adam 和 AdaBelief 等常用优化方法均可视为协变梯度下降（CGD）的特殊极限，并展示这些方法如何进一步泛化和改进。
引用
@article{arxiv.2504.05279,
title = {Covariant Gradient Descent},
author = {Dmitry Guskov and Vitaly Vanchurin},
journal= {arXiv preprint arXiv:2504.05279},
year = {2025}
}
备注
12 pages, 2 figures, 2 tables