DC函数与非光滑非凸正则化子的随机优化及其非渐近收敛性
最优化与控制
2019-02-05 v2 机器学习
摘要
凸差（DC）函数涵盖广泛的一类非凸且可能非光滑、不可微函数，并在机器学习和统计学中有广泛应用。尽管DC函数的确定性算法已被广泛研究，更适合大数据学习的随机优化仍待探索。在本文中，我们提出新的随机优化算法并研究其求解广泛DC函数的一阶收敛理论。我们从实用和理论两方面改进了现有的DC函数随机优化算法与理论。在实用方面，我们的算法更友好，无需大批量大小，并通过节省不必要计算更高效。在理论方面，我们的收敛分析不必然要求所涉及函数具有Lipschitz连续梯度的光滑性。相反，所提随机算法的收敛速率自动适应于某一分量函数梯度的H"{o}lder连续性。此外，我们将所提DC函数随机算法推广至求解带一般非凸不可微正则化子的问题，该正则化子未必有DC分解但具有高效近端映射。据我们所知，这是首个给出以具一般非凸不可微正则化子为目标的非凸优化之首次非渐近收敛的工作。
引用
@article{arxiv.1811.11829,
title = {Stochastic Optimization for DC Functions and Non-smooth Non-convex Regularizers with Non-asymptotic Convergence},
author = {Yi Xu and Qi Qi and Qihang Lin and Rong Jin and Tianbao Yang},
journal= {arXiv preprint arXiv:1811.11829},
year = {2019}
}
备注
In the revised version, we present some improved complexity results for non-smooth and non-convex regularizers and for functions with known H\"{o}lder continuity parameter $\nu\in(0,1]$ by a simple change of an algorithmic parameter