加速过松弛重心法：实现广泛泛化的全局加速收敛
最优化与控制
2025-02-18 v2
摘要
重心动量法通过加入动量项加速梯度下降，但对于一般光滑强凸问题缺乏加速收敛。本工作引入加速过松弛重心法(AOR-HB)，这是一种首次在此类问题上实现全局加速收敛的变体。AOR-HB填补了长期以来的理论空白，扩展至复合凸优化和min-max问题，并实现最优复杂度界。它具有三个关键优势：（1）广泛的泛化能力，（2）有潜力重塑加速技术，（3）与现有方法相比具有概念清晰性和优雅性。
引用
@article{arxiv.2406.09772,
title = {Accelerated Over-Relaxation Heavy-Ball Method: Achieving Global Accelerated Convergence with Broad Generalization},
author = {Jingrong Wei and Long Chen},
journal= {arXiv preprint arXiv:2406.09772},
year = {2025}
}