锚加速的连续时间分析
最优化与控制
2023-11-03 v2
摘要
近来,一种不同于 Nesterov 的加速机制——锚加速,已被发现适用于极小极大优化与不动点问题,但其机制尚不被很好理解,远不如 Nesterov 加速清晰。本工作中,我们分析锚加速的连续时间模型。我们提供了紧致且统一的分析来刻画作为锚系数 函数的收敛速率,从而揭示锚加速机制及其加速的 收敛速率。最后,我们提出一种受连续时间分析启发的自适应方法,并通过理论分析与实验确立其有效性。
引用
@article{arxiv.2304.00771,
title = {Continuous-time Analysis of Anchor Acceleration},
author = {Jaewook J. Suh and Jisun Park and Ernest K. Ryu},
journal= {arXiv preprint arXiv:2304.00771},
year = {2023}
}