用积分-微分方程建模 AdaGrad、RMSProp 和 Adam
机器学习
2025-10-14 v2 数值分析
数值分析
最优化与控制
摘要
本文通过将 AdaGrad、RMSProp 和 Adam 优化算法建模为一阶积分-微分方程，提出了这些算法的连续时间公式。我们对这些方程进行数值模拟，并结合稳定性和收敛性分析，以证明它们作为原始算法准确近似的有效性。我们的结果表明，连续时间模型的行为与离散实现之间有很强的一致性，从而为自适应优化方法的理论理解提供了新视角。
引用
@article{arxiv.2411.09734,
title = {Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations},
author = {Carlos Heredia},
journal= {arXiv preprint arXiv:2411.09734},
year = {2025}
}
备注
47 pages, 15 figures