队列挤压：跨设备联邦学习中超越每轮单次通信
机器学习
2024-06-04 v1
摘要
几乎所有联邦学习方法（包括 FedAvg）都按以下方式运行：i) 编排服务器将当前模型参数发送给通过特定规则选出的客户端队列；ii) 这些客户端随后使用自己的训练数据独立执行本地训练过程（例如通过 SGD 或 Adam）；iii) 将得到的模型发送回服务器进行聚合。重复此过程直到找到质量合适的模型。这些方法的一个显著特征是每个队列仅与服务器进行一轮通信。在这项工作中，我们挑战了这一算法设计原语，并研究是否可能从每个队列中“榨取更多价值”而非仅在一轮通信中实现。令人惊讶的是，我们发现确实如此，我们的方法在跨设备设置下训练联邦模型所需的总通信成本最多可降低 74%。我们的方法基于随机近端点方法（SPPM-AS）的一种新变体，该变体支持大量客户端采样过程，其中一些过程相比经典客户端选择方法带来了进一步的增益。
引用
@article{arxiv.2406.01115,
title = {Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning},
author = {Kai Yi and Timur Kharisov and Igor Sokolov and Peter Richtárik},
journal= {arXiv preprint arXiv:2406.01115},
year = {2024}
}