最优与自适应 Monteiro-Svaiter 加速
最优化与控制
2022-11-30 v2 数据结构与算法
摘要
我们开发了 Monteiro-Svaiter（MS）加速框架的一个变体，去除了每次迭代中求解昂贵隐式方程的需要。因此，对于任意 ，我们将具有 Lipschitz 第 阶导数的凸优化复杂度改进了一个对数因子，与下界相匹配。我们还引入了一种无需知道问题参数知识的 MS 子问题求解器，并通过求解线性系统或分别应用 MinRes 将其实现为二阶或一阶方法。在逻辑回归上，我们的方法优于以往的二阶动量方法，但逊于牛顿法；简单地迭代我们的一阶自适应子问题求解器表现与 L-BFGS 相当。
引用
@article{arxiv.2205.15371,
title = {Optimal and Adaptive Monteiro-Svaiter Acceleration},
author = {Yair Carmon and Danielle Hausler and Arun Jambulapati and Yujia Jin and Aaron Sidford},
journal= {arXiv preprint arXiv:2205.15371},
year = {2022}
}