带重启的Anderson加速梯度法的下降性质
最优化与控制
2023-09-26 v2
摘要
Anderson加速（AA）是一种流行的加速技术，用于增强不动点迭代的收敛性。AA方法的分析通常聚焦于相应不动点残差的收敛行为，而加速迭代序列上底层目标函数值的行为目前尚不清楚。本文从函数值角度研究应用于基本梯度格式的带重启AA的局部性质。具体而言，我们证明带重启的AA是一种局部下降方法，且其降低目标函数的速度可快于梯度法。这些新结果从理论上支持了在使用启发式下降条件进行全局化时AA的良好数值表现，并为AA的收敛分析提供了更适用于非凸优化问题的新视角。数值实验用于阐明我们的理论发现。
引用
@article{arxiv.2206.01372,
title = {Descent Properties of an Anderson Accelerated Gradient Method With Restarting},
author = {Wenqing Ouyang and Yang Liu and Andre Milzarek},
journal= {arXiv preprint arXiv:2206.01372},
year = {2023}
}
备注
30 pages; 4 figures