面向异构数据去中心化深度学习的 RelaySum
机器学习
2022-02-01 v2 分布式、并行与集群计算
最优化与控制
机器学习
摘要
在去中心化机器学习中，各工作节点基于其本地数据计算模型更新。由于工作节点仅与少数邻居通信而无中心协调，这些更新在网络上逐步传播。该范式支持在无全连接性的网络上开展分布式训练，有助于保护数据隐私并降低数据中心分布式训练的通信成本。一个关键挑战（主要存在于去中心化深度学习中）仍是处理各工作节点本地数据分布之间的差异。为应对该挑战，我们引入 RelaySum 机制用于去中心化学习中的信息传播。RelaySum 利用生成树以取决于节点间距离的有限延迟，在所有工作节点间精确均匀地分发信息。相比之下，典型的 gossip 平均机制仅渐近地均匀分发数据，而每步通信量与 RelaySum 相同。我们证明基于该机制的 RelaySGD 与数据异构性无关，并可扩展至大量工作节点，从而在异构数据上实现高精度的去中心化深度学习。我们的代码见 http://github.com/epfml/relaysgd。
引用
@article{arxiv.2110.04175,
title = {RelaySum for Decentralized Deep Learning on Heterogeneous Data},
author = {Thijs Vogels and Lie He and Anastasia Koloskova and Tao Lin and Sai Praneeth Karimireddy and Sebastian U. Stich and Martin Jaggi},
journal= {arXiv preprint arXiv:2110.04175},
year = {2022}
}
备注
Presented at NeurIPS 2021