A-LAQ：自适应惰性聚合量化梯度
机器学习
2022-11-01 v1 信号处理
摘要
联邦学习(Federated Learning, FL)在解决数据分布于各客户端间的机器学习问题中发挥着重要作用。在 FL 中，为减少客户端与服务器间的数据通信开销，各客户端传输本地 FL 参数而非本地数据。然而，当无线网络连接客户端与服务器时，客户端的通信资源限制可能阻碍 FL 迭代训练的完成。因此，通信高效的 FL 变体已被广泛研究。惰性聚合量化梯度(Lazily Aggregated Quantized Gradient, LAQ)是一种有前景的降低 FL 中资源使用的通信高效方法。但 LAQ 为所有迭代分配固定比特数，在迭代次数中等至较高或接近收敛时可能通信低效。本文提出自适应惰性聚合量化梯度(Adaptive Lazily Aggregated Quantized Gradient, A-LAQ)，该方法通过为 FL 迭代分配自适应通信比特数显著扩展了 LAQ。我们在能量约束条件下训练 FL，并研究了 A-LAQ 的收敛性分析。实验结果突出表明，A-LAQ 相比 LAQ 在通信能耗上最多降低 ，测试准确率提升 。
引用
@article{arxiv.2210.17474,
title = {A-LAQ: Adaptive Lazily Aggregated Quantized Gradient},
author = {Afsaneh Mahmoudi and José Mairton Barros Da Silva Júnior and Hossein S. Ghadikolaei and Carlo Fischione},
journal= {arXiv preprint arXiv:2210.17474},
year = {2022}
}