具有显式全局(加速)收敛速率的自适应拟牛顿与Anderson加速框架
最优化与控制
2023-11-16 v2 数值分析
数值分析
摘要
尽管拟牛顿和Anderson/非线性加速方法具有令人印象深刻的数值表现，其全局收敛速率在过去50余年中一直未能明确。本研究通过引入一个推导新颖自适应拟牛顿和非线性/Anderson加速格式的框架，解决了这一长期问题。在温和假设下，所提迭代方法展现出显式的非渐近收敛速率，其融合了梯度下降与三次正则化牛顿法的速率特征。所提方法还包含针对凸函数的加速版本。值得注意的是，这些速率是在无需函数参数先验知识的条件下自适应实现的。本研究提出的框架具有通用性，其特例包括随机子空间牛顿法、有限差分或惰性Hessian等算法。数值实验证明了该框架的高效性，即便与采用Wolfe线搜索的l-BFGS算法相比亦然。
引用
@article{arxiv.2305.19179,
title = {Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates},
author = {Damien Scieur},
journal= {arXiv preprint arXiv:2305.19179},
year = {2023}
}