基于单步合成特征压缩器实现快速收敛的通信高效联邦学习
机器学习
2023-03-21 v2 人工智能
分布式、并行与集群计算
摘要
降低联邦学习(FL)中的通信开销颇具挑战，但对大规模分布式隐私保护机器学习至关重要。尽管利用稀疏化等方法可大幅降低通信开销，但收敛速度也严重受损。本文提出一种新方法，称为单步合成特征压缩器(3SFC)，其通过基于原始梯度直接构造微小合成数据集来实现通信高效FL。因此，当所构造数据集仅含一个数据样本时，3SFC可达到极低的压缩率。此外，3SFC的压缩阶段采用基于相似性的目标函数，从而仅需一步即可优化，显著提升了性能与鲁棒性。另外，为最小化压缩误差，3SFC还融入了误差反馈(EF)。在多个数据集和模型上的实验表明，与压缩率更低的竞争方法相比，3SFC具有显著更优的收敛速度(压缩率可低至0.02%)。此外，消融研究与可视化显示，3SFC在每轮通信中可比竞争方法携带更多信息，进一步验证了其有效性。
引用
@article{arxiv.2302.13562,
title = {Communication-efficient Federated Learning with Single-Step Synthetic Features Compressor for Faster Convergence},
author = {Yuhao Zhou and Mingjia Shi and Yuanxi Li and Qing Ye and Yanan Sun and Jiancheng Lv},
journal= {arXiv preprint arXiv:2302.13562},
year = {2023}
}