非光滑凸随机复合优化中方差缩减方法的改进预言机复杂度
最优化与控制
2019-08-01 v7 机器学习
摘要
我们考虑目标函数为两个有限和函数复合的非光滑凸复合优化问题，并分析针对该问题的随机复合方差缩减梯度（SCVRG）方法。鉴于 SCVRG 及其变体相对于随机复合梯度下降（SCGD）的优势，近来备受关注；但理论分析均假设目标函数的强凸性，这排除了若干重要例子，如 Lasso、逻辑回归、主成分分析和深度神经网络。相反，我们证明了 SCVRG 或其新变体在非光滑凸复合优化中的非渐近增量一阶预言机（IFO）复杂度，并表明它们可证明地快于 SCGD 和梯度下降。更具体地，我们的方法达到总 IFO 复杂度 O((m+n)log(1/ε)+1/ε^3)，改进了 SCGD 和加速梯度下降（AGD）分别获得的 O(1/ε^{3.5}) 和 O((m+n)/√ε)。实验结果证实，在稀疏均值-方差优化问题上，我们的方法优于若干现有方法，例如 SCGD 和 AGD。
引用
@article{arxiv.1802.02339,
title = {Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization},
author = {Tianyi Lin and Chenyou Fan and Mengdi Wang},
journal= {arXiv preprint arXiv:1802.02339},
year = {2019}
}
备注
We improve the current result and have a new version arXiv:1806.00458