寻找凸有限和近驻点的实用格式
最优化与控制
2022-02-23 v2 机器学习
机器学习
摘要
在凸优化中，与函数值等其他最优性度量不同，寻找近驻点的问题尚未得到充分研究。即使在确定性情形下，最优方法（OGM-G，由 Kim 和 Fessler（2021）提出）也是最近才被发现。在这项工作中，我们对寻找凸有限和近驻点的算法技术进行了系统研究。我们的主要贡献是若干算法发现：（1）我们基于性能估计问题方法（Drori 和 Teboulle，2014）发现了 OGM-G 的一种节省内存的变体；（2）我们设计了一种新的加速 SVRG 变体，可同时实现最小化梯度范数和函数值的快速率；（3）我们提出了一种自适应正则化的加速 SVRG 变体，它不需要某些未知初始常数的知识并达到近最优复杂度。我们强调新格式的简洁性和实用性，这有助于未来的工作。
引用
@article{arxiv.2105.12062,
title = {Practical Schemes for Finding Near-Stationary Points of Convex Finite-Sums},
author = {Kaiwen Zhou and Lai Tian and Anthony Man-Cho So and James Cheng},
journal= {arXiv preprint arXiv:2105.12062},
year = {2022}
}
备注
29 pages, 4 figures