用于大数据学习的分布式坐标下降法
机器学习
2013-10-09 v1 分布式、并行与集群计算
机器学习
最优化与控制
摘要
本文开发并分析了 Hydra：一种用于解决大数据损失最小化问题的混合 (HYbriD) 坐标下降法。我们最初对坐标（特征）进行划分，并将每个划分分配给集群中的不同节点。在每次迭代中，每个节点独立于其他计算机，从其拥有的坐标中随机选择一个子集，并基于一个简单的闭式公式并行计算和应用所选坐标的更新。我们给出了以高概率近似解决问题所需的迭代次数界限，并展示了其如何依赖于数据和划分方式。我们使用由 3TB 矩阵描述的 LASSO 实例进行了数值实验。
引用
@article{arxiv.1310.2059,
title = {Distributed Coordinate Descent Method for Learning with Big Data},
author = {Peter Richtárik and Martin Takáč},
journal= {arXiv preprint arXiv:1310.2059},
year = {2013}
}
备注
11 two-column pages, 1 algorithm, 4 figures, 4 tables