动量算法与原始对偶算法的非线性加速
最优化与控制
2019-10-18 v2
摘要
我们描述了多步优化算法的收敛加速方案。外推解被写为原始优化方法所产生的迭代点的非线性平均。我们的分析不需要底层不动点算子对称，因此可处理例如带动量项的算法（如Nesterov加速法）或原始对偶方法。权重通过一个简单线性系统计算，我们分析了在线与离线两种模式下的性能。我们利用Crouzeix猜想证明，加速性能由建模迭代点在最优解附近行为的非对称算子的数值域上的切比雪夫问题的解所控制。在逻辑回归问题上给出了详细的数值实验。
引用
@article{arxiv.1810.04539,
title = {Nonlinear Acceleration of Momentum and Primal-Dual Algorithms},
author = {Raghu Bollapragada and Damien Scieur and Alexandre d'Aspremont},
journal= {arXiv preprint arXiv:1810.04539},
year = {2019}
}