用于L1正则化损失最小化的并行坐标下降算法
机器学习
2011-05-27 v1 信息论
math.IT
摘要
我们提出了Shotgun，一种用于最小化L1正则化损失的并行坐标下降算法。尽管坐标下降看似本质上是串行的，我们证明了Shotgun的收敛界限，预测其具有线性加速效果，最高可达一个依赖于问题的极限。我们对Shotgun在Lasso和稀疏逻辑回归上的表现进行了全面的经验研究。我们关于并行化潜力的理论预测与真实数据上的表现高度吻合。Shotgun在一系列大规模问题上优于其他已发表的求解器，证明其是L1领域最具可扩展性的算法之一。
引用
@article{arxiv.1105.5379,
title = {Parallel Coordinate Descent for L1-Regularized Loss Minimization},
author = {Joseph K. Bradley and Aapo Kyrola and Danny Bickson and Carlos Guestrin},
journal= {arXiv preprint arXiv:1105.5379},
year = {2011}
}