中文

高阶增长下的随机模型基最小化

最优化与控制 2018-07-03 v1 机器学习

摘要

给定一个非光滑、非凸最小化问题,我们考虑迭代采样并最小化目标函数的随机凸模型的算法。假设单侧逼近质量与模型的变化由 Bregman 散度控制,我们证明该格式以 O(k1/4)O(k^{-1/4}) 的速率将自然的平稳性度量驱至零。在额外的凸性与相对强凸性假设下,函数值分别以 O(k1/2)O(k^{-1/2})O~(k1)\widetilde{O}(k^{-1}) 的速率收敛到最小值。我们讨论了其对随机近端点、镜像下降、正则化 Gauss–Newton 以及鞍点算法的推论。

关键词

引用

@article{arxiv.1807.00255,
  title  = {Stochastic model-based minimization under high-order growth},
  author = {Damek Davis and Dmitriy Drusvyatskiy and Kellie J. MacPhee},
  journal= {arXiv preprint arXiv:1807.00255},
  year   = {2018}
}

备注

30 pages