通过邻近点法理解 Nesterov 加速
最优化与控制
2022-06-03 v3 机器学习
摘要
邻近点法（PPM）是优化中的基本方法，常作为设计优化算法的构建模块。在本文中，我们利用 PPM 方法对 Nesterov 加速梯度法（AGM）的不同版本给出概念上简单的推导及收敛性分析。关键观察是 AGM 是 PPM 的简单近似，这导致了 AGM 更新方程与步长的初等式推导。该视角也通过利用 PPM 的分析，带来了对 AGM 收敛性透明且概念上简单的分析。这些推导还自然推广到强凸情形。最终，本文呈现的结果兼具教学与概念价值；它们统一并解释了 AGM 的现有变体，同时激励了面向实际相关场景的其他加速方法。
引用
@article{arxiv.2005.08304,
title = {Understanding Nesterov's Acceleration via Proximal Point Method},
author = {Kwangjun Ahn and Suvrit Sra},
journal= {arXiv preprint arXiv:2005.08304},
year = {2022}
}
备注
14 pages; Presented at SIAM Symposium on Simplicity in Algorithms (SOSA22), January 10 - 11, 2022