E-3SFC：基于双向特征合成的通信高效联邦学习
机器学习
2025-02-06 v1 人工智能
分布式、并行与集群计算
摘要
模型规模的指数级增长显著增加了联邦学习（FL）中的通信负担。现有通过传输压缩梯度来减轻这一负担的方法往往面临较高的压缩误差，从而减缓了模型的收敛速度。为了同时实现高压缩效率和低压缩误差，我们从一个新颖的视角研究梯度压缩问题。具体而言，我们提出了一种系统化算法，称为扩展单步合成特征压缩（E-3SFC），它由三个子组件构成，即单步合成特征压缩器（3SFC）、一种双向压缩算法和一个通信预算调度器。首先，我们将模型的梯度计算过程视为从相应输入中解压缩梯度，而逆过程则被视为压缩梯度。基于此，我们引入了一种名为3SFC的新型梯度压缩方法，该方法利用模型自身作为解压缩器，充分利用了模型权重和目标函数等训练先验知识。3SFC在单步模拟中将原始梯度压缩为微小的合成特征，并结合误差反馈以最小化整体压缩误差。为了进一步减少通信开销，3SFC被扩展为E-3SFC，允许双向压缩和动态通信预算调度。我们在强凸和非凸条件下的理论分析表明，3SFC在存在聚合噪声的情况下实现了线性和次线性的收敛速率。在六个数据集和六个模型上的大量实验表明，3SFC的性能优于最先进的方法高达13.4%，同时将通信成本降低了111.6倍。这些发现表明，3SFC可以在不牺牲模型性能的情况下显著提高联邦学习中的通信效率。
引用
@article{arxiv.2502.03092,
title = {E-3SFC: Communication-Efficient Federated Learning with Double-way Features Synthesizing},
author = {Yuhao Zhou and Yuxin Tian and Mingjia Shi and Yuanxi Li and Yanan Sun and Qing Ye and Jiancheng Lv},
journal= {arXiv preprint arXiv:2502.03092},
year = {2025}
}
备注
Accepted by TNNLS. arXiv admin note: text overlap with arXiv:2302.13562