FedSKD：基于多维相似知识蒸馏的无聚合模型异构性联邦学习用于医学图像分类
机器学习
2026-03-13 v2 人工智能
摘要
联邦学习（FL）通过无需直接数据共享即可实现隐私保护的协作模型训练。模型异构性联邦学习（MHFL）扩展了这一范式，允许客户端使用量身其化的体系结构进行个性化模型训练，以适应其计算资源和特定应用需求。然而，现有MHFL方法主要依赖集中式聚合，导致可扩展性和效率瓶颈，或要求客户端之间存在部分相同的数据模型结构。虽然点对点（P2P）FL消除了对服务器的依赖，但因模型漂移和知识稀释问题，限制了其在异构环境中的有效性。为此，我们提出FedSKD，一种新型MHFL框架，通过轮流模型循环实现直接知识交换，无需集中式聚合，即可允许客户端之间完全异构的数据模型结构。FedSKD的关键创新在于多维相似知识蒸馏，使在FL中异构模型能够在batch、像素/体素和区域层面进行双向跨客户端知识传递。该方法通过渐进式强化和分布对齐，缓解了灾难性遗忘和模型漂移，同时保持模型异构性。在基于fMRI的自闭谱系诊断和皮肤 Lesion分类上的广泛评估表明，FedSKD优于最先进的异构和同构FL基线，实现了卓越的个人化（客户端特定准确率）和通用性（跨机构适应性）。这些发现凸显了FedSKD作为面向实际医学联邦学习应用的可扩展且稳健的解决方案的潜力。
引用
@article{arxiv.2503.18981,
title = {FedSKD: Aggregation-free Model-heterogeneous Federated Learning via Multi-dimensional Similarity Knowledge Distillation for Medical Image Classification},
author = {Ziqiao Weng and Weidong Cai and Bo Zhou},
journal= {arXiv preprint arXiv:2503.18981},
year = {2026}
}
备注
Accepted at IEEE-TNNLS, 17 pages