随机原始对偶混合梯度法的高概率迭代复杂度分析
机器学习
2018-02-02 v2 机器学习
摘要
在本文中，我们提出一种随机原始对偶混合梯度（PDHG）方法来求解一类广泛的带正则化随机最小化问题，其中正则化项与线性函数复合。已认识到求解此类问题是具有挑战性的，因为由于所施加的线性复合，与正则化项相关的邻近映射的闭式解不可用，且当输入数据样本数量极大时，计算期望目标函数全梯度的每次迭代代价极高。我们的新方法通过利用正则化项的特殊结构并在每次迭代中采样少量数据点克服了这些问题。不同于在期望意义下分析收敛性，我们给出了均匀与非均匀平均迭代两种情形下的详细迭代复杂度分析（高概率意义下）。这有力支持了所提方法的良好实际性能。数值实验表明，正如高概率收敛性分析所预期的，随机PDHG的效率优于其他竞争算法。
引用
@article{arxiv.1801.06934,
title = {On the Iteration Complexity Analysis of Stochastic Primal-Dual Hybrid Gradient Approach with High Probability},
author = {Linbo Qiao and Tianyi Lin and Qi Qin and Xicheng Lu},
journal= {arXiv preprint arXiv:1801.06934},
year = {2018}
}