分布式随机对偶坐标上升法分析
分布式、并行与集群计算
2014-03-25 v2 机器学习
摘要
在 \citep{Yangnips13} 中，作者提出了用于求解大规模正则化损失最小化问题的分布式随机对偶坐标上升 (DisDCA) 算法。与朴素更新相比，被称为实用更新的动机良好的更新方式展现出了非凡的性能并已有报道。然而，此前尚无严肃的分析来理解这些更新及其收敛速率。本文通过提供实用 DisDCA 算法收敛速率的理论分析填补了这一空白。我们的分析辅以实证研究表明，通过增加每次迭代中的对偶更新次数，可实现收敛速度的指数级加速。这一结果证明了实用 DisDCA 相较于朴素变体的优越性能。作为副产品，我们的分析还揭示了单次通信 DisDCA 的收敛行为。
引用
@article{arxiv.1312.1031,
title = {Analysis of Distributed Stochastic Dual Coordinate Ascent},
author = {Tianbao Yang and Shenghuo Zhu and Rong Jin and Yuanqing Lin},
journal= {arXiv preprint arXiv:1312.1031},
year = {2014}
}