零和博弈中 Adam 动力学解析：基于 ODE 的方法
机器学习
2026-05-20 v1
摘要
Adam 在训练神经网络方面的显著成功，自然导致其下降-上升对等方法 Adam-DA 在解决零和博弈问题中广泛应用。尽管在实际中广受欢迎，但对 Adam-DA 的严格理论理解仍滞后。在本文中，我们推导了服从 Adam-DA 持续时间限制的常微分方程(ODE)。这些 ODE 与 Adam-DA 的离散时间动力学密切近似，为理解其在零和博弈中的行为提供了可处理的分析框架。通过该 ODE 方法，我们研究了 Adam-DA 的两个基本方面：局部收敛性和隐式梯度正则化。我们的分析揭示了在零和博弈中，一阶和二阶动量参数的作用恰恰与在最小化问题中的已知效果完全相反。我们通过 GAN 实验在多个架构和数据集上验证了这些预测，展示了这种反转动量效应的实际意义。
引用
@article{arxiv.2605.19392,
title = {Understanding Dynamics of Adam in Zero-Sum Games: An ODE Approach},
author = {Yi Feng and Weiming Ou and Xiao Wang},
journal= {arXiv preprint arXiv:2605.19392},
year = {2026}
}