一种加速近端坐标梯度方法及其在正则化经验风险最小化中的应用
最优化与控制
2014-07-07 v1
摘要
我们考虑最小化两个凸函数之和的问题：其中一个函数是光滑的并由梯度预言机给出，另一个函数在坐标块上是可分的，且在每个块上具有简单的已知结构。我们开发了一种加速随机近端坐标梯度 (APCG) 方法，用于最小化此类凸复合函数。对于强凸函数，我们的方法比现有的随机近端坐标梯度方法实现了更快的线性收敛速率。在没有强凸性的情况下，我们的方法享有加速的次线性收敛速率。我们展示了如何应用 APCG 方法求解正则化经验风险最小化 (ERM) 问题，并设计了避免全维向量操作的高效实现。对于病态 ERM 问题，我们的方法获得了优于最先进随机对偶坐标上升 (SDCA) 方法的收敛速率。
引用
@article{arxiv.1407.1296,
title = {An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization},
author = {Qihang Lin and Zhaosong Lu and Lin Xiao},
journal= {arXiv preprint arXiv:1407.1296},
year = {2014}
}