FedDEO：基于扩散模型的描述增强型一站式联邦学习
计算机视觉与模式识别
2024-07-30 v1
摘要
近年来，围绕一站式联邦学习（One-Shot Federated Learning, OSFL）的关注度提升，主要源于其最小化通信开销的能力。随着扩散模型（diffusion model, DM）的发展，多个方法尝试利用 DM 来实现 OSFL，采用模型参数、图像特征或文本提示作为知识传递至服务器的载体。然而，这些载体常常需要公共数据集或统一的特征提取器，显著限制了实际应用的可行性。本文提出了 FedDEO，这是一种基于 DM 的描述增强型一站式联邦学习方法，为 OSFL 中的 DM 应用提供了新的思路。我们的方法核心思想是：在各客户端上训练局部描述（local descriptions），作为将分布式客户端知识传递至服务器的载体。首先，在客户端数据上训练局部描述，以捕捉客户端分布特征，再上传至服务器。在服务器端，这些描述被用作引导 DM 生成符合各客户端分布的合成数据集的条件，从而实现聚合模型的训练。理论分析以及在三个大规模真实数据集上的充分量化和可视化实验表明，通过训练局部描述，服务器能够生成高质量且多样化的合成数据集。因此，在通信效率和隐私保护方面具有优势，所得聚合模型不仅优于传统联邦学习或基于扩散模型的 OSFL 方法，甚至在部分客户端上超越了集中式训练的性能上限。
引用
@article{arxiv.2407.19953,
title = {FedDEO: Description-Enhanced One-Shot Federated Learning with Diffusion Models},
author = {Mingzhao Yang and Shangchao Su and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2407.19953},
year = {2024}
}
备注
Accepted by MM 24