MH-pFLID：基于注入与蒸馏的模型异构化个人化联邦学习用于医疗数据分析
机器学习
2024-05-14 v1 人工智能
摘要
联邦学习在医疗应用中广泛用于在不获取本地数据的情况下训练全局模型。然而，跨客户端的计算能力和网络架构差异（系统异构性）以及非独立同分布（non-IID）数据的聚合信息，构成了重要挑战。当前采用知识蒸馏的联邦学习方法需要公共数据集，引发隐私和数据收集问题。此外，这些数据集还需要额外的本地计算和存储资源，对医疗机构（通常硬件条件有限）构成负担。本文引入一种新型联邦学习范式，名为Model Heterogeneous personalized Federated Learning via Injection and Distillation（MH-pFLID）。我们的框架利用轻量级信使模型携带集中信息，从每个客户端收集信息。我们还开发了一组接收器和发送器模块，以接收和发送信使模型的信息，以便高效进行注入和蒸馏。
引用
@article{arxiv.2405.06822,
title = {MH-pFLID: Model Heterogeneous personalized Federated Learning via Injection and Distillation for Medical Data Analysis},
author = {Luyuan Xie and Manqing Lin and Tianyu Luan and Cong Li and Yuejian Fang and Qingni Shen and Zhonghai Wu},
journal= {arXiv preprint arXiv:2405.06822},
year = {2024}
}
备注
This paper is accepted by ICML 2024