原始与对偶块坐标下降方法中的避免通信
分布式、并行与集群计算
2017-05-03 v2
摘要
原始与对偶块坐标下降方法是求解正则化与非正则化优化问题的迭代方法。这些方法的分布式内存并行实现在分析大型机器学习数据集中变得流行。然而，现有实现在每次迭代时都进行通信，这在现代数据中心和超级计算架构上通常主导了浮点计算的成本。关于避免通信的 Krylov 子空间方法的最新结果表明，通过重组迭代算法以避免通信，可以实现巨大的加速。我们展示了如何应用类似的算法变换，从而得到在 \textit{正则化最小二乘问题} 中每 次迭代才通信一次的原始与对偶块坐标下降方法——其中 是一个调参——而不是每次迭代都通信。我们证明了避免通信的变体在分布式内存并行机器上将同步次数减少了 倍，且不改变收敛速率，并在 Cray XC30 超级计算机上获得了高达 的强扩展性加速。
引用
@article{arxiv.1612.04003,
title = {Avoiding communication in primal and dual block coordinate descent methods},
author = {Aditya Devarakonda and Kimon Fountoulakis and James Demmel and Michael W. Mahoney},
journal= {arXiv preprint arXiv:1612.04003},
year = {2017}
}