B-ary 树推拉方法在异构数据分布式学习中可证明高效
最优化与控制
2024-11-22 v3
摘要
本文考虑分布式学习问题，其中一组智能体基于对等通信协作最小化其局部代价函数之和。特别地，我们提出了一种高效算法，称为“B-ary 树推拉”，该算法采用两棵 B-ary 生成树来分发与网络中参数和随机梯度相关的信息。这种简单的方法在通信上是高效的，因为每个智能体每次迭代最多与 个邻居交互。更重要的是，对于光滑非凸和强凸目标函数，BTPP 分别仅需 和 次瞬态迭代即可实现线性加速，据我们所知，这显著优于现有最佳结果。我们的代码可在 https://github.com/ryou98/BTPP 获取。
引用
@article{arxiv.2404.05454,
title = {B-ary Tree Push-Pull Method is Provably Efficient for Distributed Learning on Heterogeneous Data},
author = {Runze You and Shi Pu},
journal= {arXiv preprint arXiv:2404.05454},
year = {2024}
}