FedSynth：联邦学习中基于合成数据的梯度压缩
机器学习
2022-04-05 v1
摘要
在使用大型模型的联邦学习（FL）中，模型压缩对于降低通信成本十分重要。已有工作聚焦于基于稀疏化的压缩，这可能严重影响全局模型精度。在本文中，我们提出一种上游通信新方案：每个客户端不直接传输模型更新，而是学习并传输一个轻量级合成数据集，使得以该数据集作为训练数据时，模型在真实训练数据上表现相近。服务器将通过合成数据恢复本地模型更新并应用标准聚合。随后我们给出一种新算法 FedSynth 以在本地学习合成数据。经实验，我们发现该方法在三个常用联邦学习基准数据集上均优于或媲美随机掩码基线。
引用
@article{arxiv.2204.01273,
title = {FedSynth: Gradient Compression via Synthetic Data in Federated Learning},
author = {Shengyuan Hu and Jack Goetz and Kshitiz Malik and Hongyuan Zhan and Zhe Liu and Yue Liu},
journal= {arXiv preprint arXiv:2204.01273},
year = {2022}
}
备注
8 pages