一种用于减少联邦学习通信开销的高效虚拟数据生成方法
机器学习
2023-06-30 v3
摘要
通信开销是联邦学习(FL)中的主要挑战之一。一些经典方案假设服务器能够从本地模型中提取参与方训练数据的辅助信息,从而构建中心虚拟数据集。服务器利用该虚拟数据集对聚合后的全局模型进行微调,以更少的通信轮次达到目标测试精度。本文将上述方案总结为一种基于数据的通信高效FL框架。所提框架的关键在于设计一种高效的提取模块(EM),以确保虚拟数据集对微调聚合全局模型具有正向作用。不同于现有使用生成器设计EM的方法,我们提出的方法FedINIBoost借鉴梯度匹配的思想来构建EM。具体而言,FedINIBoost在每个通信轮次为每个参与方分两步构建真实数据集的代理数据集。随后服务器聚合所有代理数据集形成中心虚拟数据集,用于微调聚合全局模型。大量实验验证了我们的方法相对于现有经典方法FedAVG、FedProx、Moon和FedFTG的优越性。此外,FedINIBoost在FL初期对微调聚合全局模型性能具有显著作用。
引用
@article{arxiv.2306.12088,
title = {An Efficient Virtual Data Generation Method for Reducing Communication in Federated Learning},
author = {Cheng Yang and Xue Yang and Dongxian Wu and Xiaohu Tang},
journal= {arXiv preprint arXiv:2306.12088},
year = {2023}
}
备注
There are errors in the experimental settings in our paper