基于自适应量化的通信高效联邦学习
分布式、并行与集群计算
2021-04-14 v1
摘要
联邦学习 (FL) 因其隐私保护机制以及在金融、医疗等分布式但隐私敏感应用中的巨大潜力，近年来引起了极大关注。然而，传输高维网络与额外安全掩码所带来的高通信开销仍是 FL 的瓶颈。本文提出了一种基于自适应量化梯度 (AQG) 的通信高效 FL 框架，该框架根据本地梯度更新自适应地调整量化级别，以充分利用本地数据分布的异质性来减少不必要的传输。此外，考虑了客户端掉线问题，并开发了增强型 AQG，其可通过适当的放大机制限制传输梯度的掉线噪声。理论分析与实验结果表明，与包括量化梯度下降 (QGD) 和基于惰性聚合量化 (LAQ) 梯度的方法在内的现有流行方法相比，所提出的 AQG 在不损害收敛特性的前提下可额外减少 25%-50% 的传输量。特别地，具有异质数据分布的实验证实了相较于独立同分布数据分布可实现更显著的传输减少。同时，所提出的 AQG 在经验上对高达 90% 的客户端掉线率具有鲁棒性，而增强型 AQG 在实际 FL 场景中常见的中等规模客户端掉线下进一步提升了 FL 系统的通信效率。
引用
@article{arxiv.2104.06023,
title = {Communication Efficient Federated Learning with Adaptive Quantization},
author = {Yuzhu Mao and Zihao Zhao and Guangfeng Yan and Yang Liu and Tian Lan and Linqi Song and Wenbo Ding},
journal= {arXiv preprint arXiv:2104.06023},
year = {2021}
}