FedBM：从预训练语言模型中窃取知识以用于异构联邦学习
计算机视觉与模式识别
2025-02-25 v1
摘要
联邦学习在医学图像计算领域展现出了巨大潜力，因为它提供了一种去中心化的学习范式，允许多个客户端在不泄露隐私的情况下协作训练模型。然而，当前研究表明，数据异构性会在局部训练期间导致客户端模型分类器和特征提取器出现局部学习偏差，进而导致联邦系统性能下降。为了解决这些问题，我们提出了一种名为联邦偏差消除的新型框架，旨在消除异构联邦学习（FL）中的局部学习偏差。该框架主要由两个模块组成，即基于语言知识的分类器构建和概念引导的全局分布估计。具体而言，LKCC 利用类概念、提示和预训练语言模型来获取概念嵌入。这些嵌入被用于估计语言空间中每个类别的潜在概念分布。基于理论推导，我们可以依靠这些分布为客户端预先构建高质量分类器以实现分类优化，该分类器在局部训练期间被冻结以避免分类器偏差。CGDE 从潜在概念分布中采样概率概念嵌入，以学习一个条件生成器来捕获全局模型的输入空间。我们引入了三个正则化项以提高生成器的质量和实用性。该生成器由所有客户端共享，并生成伪数据以校准局部特征提取器的更新。在公开数据集上的大量对比实验和消融实验表明，FedBM 的性能优于 SOTA 方法，并分别证实了各模块的有效性。代码可在 https://github.com/CUHK-AIM-Group/FedBM 获取。
引用
@article{arxiv.2502.16832,
title = {FedBM: Stealing Knowledge from Pre-trained Language Models for Heterogeneous Federated Learning},
author = {Meilu Zhu and Qiushi Yang and Zhifan Gao and Yixuan Yuan and Jun Liu},
journal= {arXiv preprint arXiv:2502.16832},
year = {2025}
}
备注
Accepted by MedIA 2025