在线正则化非线性加速
最优化与控制
2019-06-25 v2 机器学习
机器学习
摘要
正则化非线性加速(RNA)通过对梯度法之类算法产生的迭代进行后处理来估计函数的最小值。它可视为Anderson加速的正则化版本，后者是数值分析中的经典加速方案。新方案可证明地改善了定步长梯度下降的收敛速率，且其经验性能可与拟牛顿法相媲美。然而，RNA无法加速Nesterov方法等更快的多步算法，且在此情形下常发散。在此，我们调整RNA以克服这些问题，使我们的方案可用于带动量的梯度法等快速算法。我们给出了二次函数的最优复杂度界以及一般凸最小化问题的渐近最优速率。此外，这一新方案可在线工作，即外推解估计可在每次迭代时重新注入，从而在数值性能上显著优于经典加速方法。
引用
@article{arxiv.1805.09639,
title = {Online Regularized Nonlinear Acceleration},
author = {Damien Scieur and Edouard Oyallon and Alexandre d'Aspremont and Francis Bach},
journal= {arXiv preprint arXiv:1805.09639},
year = {2019}
}