FedBKD: 通过知识蒸馏实现非独立同分布数据的联邦学习中的泛化与个性化
机器学习
2025-06-26 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习 (FL) 是一种去中心化的协作机器学习 (ML) 技术，为工业 ML 实践中数据孤岛和数据隐私泄露问题提供了解决方案。在 FL 中处理非独立同分布 (non-IID) 数据的主要挑战是如何兼顾全局模型的泛化性与局部模型的个性化性能。现有方法要么致力于构建强大的全局模型，要么定制化本地模型，很少有方法能够同时提供良好泛化的全局模型和高性能的局部模型。此外，许多解决 non-IID 问题的 FL 方法依赖引入公共数据集，但这也会增加数据泄露风险。为此，我们提出一种新型数据无关的蒸馏框架——联邦双向知识蒸馈 (FedBKD)。具体而言，我们训练生成对抗网络 (GAN) 以生成合成数据。在 GAN 训练过程中，局部模型充当判别器且参数冻结。随后利用合成数据进行全局模型与局部模型之间的双向蒸馈，以实现知识交互，从而提升双方性能。我们在不同 non-IID 设置下的 4 个基准数据集上进行大量实验。结果表明，FedBKD 在所有情况下均实现了最先进 (SOTA) 的性能。
引用
@article{arxiv.2506.20245,
title = {FedBKD: Distilled Federated Learning to Embrace Gerneralization and Personalization on Non-IID Data},
author = {Yushan Zhao and Jinyuan He and Donglai Chen and Weijie Luo and Chong Xie and Ri Zhang and Yonghong Chen and Yan Xu},
journal= {arXiv preprint arXiv:2506.20245},
year = {2025}
}