非光滑非凸优化中随机镜像下降的收敛速率研究
最优化与控制
2018-06-14 v1
摘要
本文研究了随机镜像下降（SMD）用于非凸优化的非渐近平稳收敛行为。我们关注一类一般性的非凸非光滑随机优化问题，其中目标函数可分解为一个相对弱凸函数（可能非 Lipschitz）与一个简单的非光滑凸正则项。我们证明了 SMD 在不使用小批量（mini-batch）的情况下，能够保证以 的收敛速率收敛到平稳点。该效率估计与随机次梯度法的已有结果一致，但是在一个更强的平稳性度量下进行评估的。我们的收敛分析适用于原始 SMD 及其近端版本，也适用于确定性变体，用于求解相对弱凸问题。
引用
@article{arxiv.1806.04781,
title = {On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization},
author = {Siqi Zhang and Niao He},
journal= {arXiv preprint arXiv:1806.04781},
year = {2018}
}
备注
15 pages