FedVCK: 通过可价值浓缩知识实现非IID鲁棒且通信高效的联邦学习——用于医学图像分析
机器学习
2024-12-25 v1
摘要
联邦学习已成为医学机构合作的有前景的解决方案。然而，各机构的数据高度异构且分布总是非独立同分布(non-IID)，导致客户端漂移和性能不佳。尽管已有联邦学习方法试图解决非IID问题，但仍显示微弱优势且依赖频繁通信，造成高成本和隐私 concerns。本文提出一种新型联邦学习方法：**Fed**erated learning via **V**aluable **C**ondensed **K**nowledge (FedVCK)。我们提高了浓缩知识的质量，并通过模型引导选择最必要的知识，在有限通信预算下有效解决非IID问题。具体而言，在客户端侧，我们将每个客户端的知识浓缩到小型数据集，并通过潜在分布约束增强浓缩程序，以有效捕获高质量知识。在每个轮次中，我们特别针对尚未被当前模型吸收的知识进行浓缩，从而防止不必要的同质知识重复，并最小化所需通信频率。在服务器侧，我们提出关系监督对比学习，为全局模型更新提供更多监督信号。广泛的医学任务实验表明，FedVCK能超越最新方法，证明其非IID鲁棒且通信高效。
引用
@article{arxiv.2412.18557,
title = {FedVCK: Non-IID Robust and Communication-Efficient Federated Learning via Valuable Condensed Knowledge for Medical Image Analysis},
author = {Guochen Yan and Luyuan Xie and Xinyi Gao and Wentao Zhang and Qingni Shen and Yuejian Fang and Zhonghai Wu},
journal= {arXiv preprint arXiv:2412.18557},
year = {2024}
}
备注
Accepted by AAAI 2025