带加速的方差缩减坐标下降：新方法及其在有限和问题上出人意料的应用
最优化与控制
2020-02-13 v1 机器学习
摘要
我们提出随机方差缩减坐标下降的加速版本——ASVRCD。如同SEGA或SVRCD等其他方差缩减坐标下降方法，我们的方法可处理包含不可分且非光滑正则化项的问题，同时每次迭代仅访问随机块偏导数。然而，ASVRCD引入了Nesterov动量，相较于SEGA与SVRCD提供了更有利的迭代复杂度保证。作为理论的副产品，我们表明Allen-Zhu(2017)的一个变体是ASVRCD的特例，从而恢复了有限和目标的 optimal oracle 复杂度。
引用
@article{arxiv.2002.04670,
title = {Variance Reduced Coordinate Descent with Acceleration: New Method With a Surprising Application to Finite-Sum Problems},
author = {Filip Hanzely and Dmitry Kovalev and Peter Richtarik},
journal= {arXiv preprint arXiv:2002.04670},
year = {2020}
}
备注
30 pages, 8 figures