基于局部模型引导扩散模型的单轮异构联邦学习
计算机视觉与模式识别
2025-04-07 v3 机器学习
摘要
近年来，基于扩散模型（Diffusion Models）的单轮联邦学习方法因其卓越性能而受到越来越多的关注。然而，此类方法大多需要在客户端设备上部署基础模型，与传统 FL 方法相比，这显著提高了计算需求并降低了对异构客户端模型的适应性。本文提出 FedLMG，一种基于局部模型引导扩散模型的异构单轮联邦学习方法。简言之，在 FedLMG 中，客户端无需访问任何基础模型，仅需训练并上传其局部模型，这与传统 FL 方法一致。在客户端上，我们采用分类损失和 BN 损失来捕获客户端分布的宽泛类别特征与详细上下文特征。在服务器端，基于上传的客户端模型，我们利用反向传播引导服务器的 DM 生成符合客户端分布的合成数据集，随后用于训练聚合模型。通过使用本地训练的客户端模型作为转移客户端知识的中介，我们的方法显著降低了客户端设备的计算需求，并有效适应异构客户端场景。在三个大规模真实世界数据集上的大量定量与可视化实验以及理论分析表明，FedLMG 生成的合成数据集在质量与多样性上可与客户端数据集媲美，由此得到的聚合模型优于所有对比方法甚至性能上限，进一步阐明了在 FL 中利用 DMs 的巨大潜力。
引用
@article{arxiv.2311.08870,
title = {One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models},
author = {Mingzhao Yang and Shangchao Su and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2311.08870},
year = {2025}
}