安德森加速的动力学解剖：从自适应动量到可变质量 ODE
最优化与控制
2025-12-30 v2 数值分析
数值分析
摘要
本文通过高分辨率常微分方程（ODE）的视角，对加速优化算法进行严格的推导与分析。虽然经典的Nesterg acceleration 通过渐近消失阻尼已被良好理解，但安德森加速（Anderson Acceleration, AA）的动力学仍不够透明。本 work 在 AA 理论上作出重要贡献，通过将离散加速算法与连续动力系统相结合，同时提供了实用的算法创新。本 work 解决了自 1965 年 AA 提出以来，关于其物理本质的根本性问题。首先，我们证明 AA 可精确地 rewritten 为自适应动量方法，并在高分辨率极限下收敛到一个具有可变有效质量的二阶 ODE。通过 Lyapunov 能量分析，我们揭示了标准 AA 的具体不稳定机制：有效质量的不可控增长充当负阻尼，物理上将能量注入系统，违反了耗散约束。相反，高分辨率分析识别出一个隐式的 Hessian 驱动阻尼项，在刚性 regimes 中提供稳定。基于这些动力学洞见，我们随后提出了能量保护型安德森加速（Energy-Guarded Anderson Acceleration, EG-AA），该算法充当惯性 governor 以确保热力学一致性。此外，我们通过加速增益因子（Acceleration Gain Factor）进行收敛分析，证明 EG-AA 在最大化线性子空间投影的几何收缩的同时，积极抑制非线性近似误差。理论界限确认 EG-AA 不劣于标准 AA，数值实验表明在不良条件的凸组合问题中，EG-AA 的收敛稳定性与收敛速度均显著优于标准安德森混合。
引用
@article{arxiv.2512.21269,
title = {The Dynamical Anatomy of Anderson Acceleration:From Adaptive Momentum to Variable-Mass ODEs},
author = {Kewang Chen and Yongqiu Jiang and Kees Vuik},
journal= {arXiv preprint arXiv:2512.21269},
year = {2025}
}