局部步骤加速异构分布式逻辑回归中的局部梯度下降
机器学习
2025-05-08 v2
摘要
我们分析了两种用于分布式逻辑回归的局部梯度下降(Local Gradient Descent)变体，数据为异构且可分离。在K个局部步骤和足够大的R通信轮次下，我们证明收敛于O(1/KR)的速率。相比之下，所有现有的Local GD收敛保证至少为，这意味着它们未能显示局部更新的优势。我们改进保证的关键在于证明使用较大步长\eta \leq 1/K。
引用
@article{arxiv.2501.13790,
title = {Local Steps Speed Up Local GD for Heterogeneous Distributed Logistic Regression},
author = {Michael Crawshaw and Blake Woodworth and Mingrui Liu},
journal= {arXiv preprint arXiv:2501.13790},
year = {2025}
}
备注
ICLR 2025