LoDAdaC：一种基于局部训练的统一去中心化框架，集自适应梯度与压缩通信于一体
机器学习
2026-04-14 v1 分布式、并行与集群计算
最优化与控制
摘要
在去中心化分布式学习中，实现快速收敛和低通信成本对于可扩展性和高效性至关重要。自适应梯度方法，如 Adam，在深度学习和中心化分布式环境中展现出强大的实际性能。然而，它们在涉及多个本地训练步骤（如联邦学习）的去中心化环境中的收敛性质仍基本未被探讨。为此，我们提出 LoDAdaC，即集成 Adam 类更新与压缩通信的多局部训练（MLT）去中心化框架。LoDAdac 支持其本地自适应更新的广泛优化器，包括 AMSGrad、Adam 和 AdaGrad；它兼容标准（可能带偏）压缩器，如低位量化和稀疏化。MLT 和压缩通信使 LoDAdac 能够实现通信成本的显著降低，而自适应更新技术则实现快速收敛。我们通过复杂度分析严格证明了其优势。此外，图像分类和 GPT 风格语言模型训练的实验验证了我们的理论结果，表明 LoDAdac 在收敛速度和通信效率方面显著优于现有的去中心化算法。
引用
@article{arxiv.2604.09970,
title = {LoDAdaC: a unified local training-based decentralized framework with adaptive gradients and compressed communication},
author = {Wei Liu and Anweshit Panda and Ujwal Pandey and Haven Cook and George M. Slota and Naigang Wang and Jie Chen and Yangyang Xu},
journal= {arXiv preprint arXiv:2604.09970},
year = {2026}
}
备注
Accepted by TMLR