随机镜像下降方法的最快收敛速率
最优化与控制
2018-03-25 v1 计算复杂性
数值分析
数值分析
摘要
相对光滑性——由 Birnbaum 等人 (2011) 引入，并由 Bauschke 等人 (2016) 和 Lu 等人 (2016) 重新发现——推广了通常用于分析梯度类方法的标准光滑性概念。在这项工作中，我们从研究充分的随机凸优化领域中汲取思想，并将其用于获得最小化相对光滑函数的更快算法。我们提出并分析了两类新算法：相对随机坐标下降和相对随机梯度下降，二者均推广了标准光滑设定下著名的算法。我们提出的方法实际上可以被视为随机镜像下降算法的特定实例。其中，relRCD 对应于首个具有线性收敛速率的镜像下降算法随机变体。
引用
@article{arxiv.1803.07374,
title = {Fastest Rates for Stochastic Mirror Descent Methods},
author = {Filip Hanzely and Peter Richtárik},
journal= {arXiv preprint arXiv:1803.07374},
year = {2018}
}
备注
45 pages, 2 figures