通过近似额外梯度框架理解黎曼加速
最优化与控制
2022-02-11 v2 机器学习
机器学习
摘要
本文致力于推进对黎曼加速梯度方法的理解。特别地，我们重新审视了加速混合近似额外梯度法(Accelerated Hybrid Proximal Extragradient, A-HPE)，这是一个用于获得欧几里得加速方法的强大框架。基于 A-HPE，我们随后提出并分析了黎曼 A-HPE。我们分析的核心包含两个关键部分： 对欧几里得 A-HPE 本身的一系列新见解； 对黎曼几何引起的度量失真的仔细控制。我们通过将若干现有的和新的黎曼加速梯度方法作为特例来阐明我们的框架，同时将其加速特性作为我们主要结果的推论加以刻画。
引用
@article{arxiv.2111.02763,
title = {Understanding Riemannian Acceleration via a Proximal Extragradient Framework},
author = {Jikai Jin and Suvrit Sra},
journal= {arXiv preprint arXiv:2111.02763},
year = {2022}
}