高阶增长下的随机模型基最小化
最优化与控制
2018-07-03 v1 机器学习
摘要
给定一个非光滑、非凸最小化问题,我们考虑迭代采样并最小化目标函数的随机凸模型的算法。假设单侧逼近质量与模型的变化由 Bregman 散度控制,我们证明该格式以 的速率将自然的平稳性度量驱至零。在额外的凸性与相对强凸性假设下,函数值分别以 与 的速率收敛到最小值。我们讨论了其对随机近端点、镜像下降、正则化 Gauss–Newton 以及鞍点算法的推论。
引用
@article{arxiv.1807.00255,
title = {Stochastic model-based minimization under high-order growth},
author = {Damek Davis and Dmitriy Drusvyatskiy and Kellie J. MacPhee},
journal= {arXiv preprint arXiv:1807.00255},
year = {2018}
}
备注
30 pages