AdaGossip：用于通信压缩的去中心化深度学习的自适应共识步长
机器学习
2024-04-10 v1
摘要
去中心化学习对于支持在大型分布式数据集上进行设备端学习至关重要，消除了对中央服务器的需求。然而，通信开销仍然是实际实现这种去中心化设置的主要瓶颈。为了解决这个问题，文献中提出了几种具有压缩通信的去中心化训练算法。这些算法中的大多数引入了一个额外的超参数，称为共识步长，该参数在训练开始时根据压缩比进行调整。在这项工作中，我们提出了AdaGossip，一种新颖的技术，它根据相邻代理之间的压缩模型差异自适应地调整共识步长。我们通过在各种计算机视觉数据集（CIFAR-10、CIFAR-100、Fashion MNIST、Imagenette和ImageNet）、模型架构和网络拓扑上进行的一系列详尽实验，证明了所提出方法的有效性。我们的实验表明，与当前最先进的去中心化学习与通信压缩方法相比，所提出的方法实现了优越的性能（测试准确率提高0-2%）。
引用
@article{arxiv.2404.05919,
title = {AdaGossip: Adaptive Consensus Step-size for Decentralized Deep Learning with Communication Compression},
author = {Sai Aparna Aketi and Abolfazl Hashemi and Kaushik Roy},
journal= {arXiv preprint arXiv:2404.05919},
year = {2024}
}
备注
11 pages, 3 figures, 8 tables. arXiv admin note: text overlap with arXiv:2305.04792, arXiv:2310.15890