一种用于训练 $l_1$ 正则化线性分类器的分布式块坐标下降法
机器学习
2016-11-25 v2
摘要
正则化分类器的分布式训练最近受到了广泛关注。大多数现有方法通过在单个变量级别解耦的二次近似来逼近目标函数，从而获取步长。这些方法专为通信成本较低的多核和 MPI 平台设计。它们在诸如运行于商用机器集群上的 Hadoop 等通信成本高昂的系统上效率低下。在本文中，我们设计了一种针对 正则化的分布式算法，比现有算法更适合此类系统。我们进行了细致的成本分析以支持这些观点并激发我们的方法。我们算法的主要思想是在每个计算节点内对实际目标函数的许多变量进行块优化；这增加了每步的计算成本以匹配通信成本，并减少了外部迭代次数，从而产生更快的整体方法。我们使用分布式 Gauss-Seidel 和 Gauss-Southwell 贪婪方案来选择每一步中要更新的变量。我们建立了该算法的全局收敛理论，包括 Q-线性收敛速率。在两个基准问题上的实验表明，我们的方法比现有方法快得多。
引用
@article{arxiv.1405.4544,
title = {A distributed block coordinate descent method for training $l_1$ regularized linear classifiers},
author = {Dhruv Mahajan and S. Sathiya Keerthi and S. Sundararajan},
journal= {arXiv preprint arXiv:1405.4544},
year = {2016}
}