中文

FedFMS:探索用于医学图像分割的联邦基础模型

图像与视频处理 2024-11-07 v2 计算机视觉与模式识别 分布式、并行与集群计算

摘要

医学图像分割对于临床诊断至关重要。Segment Anything Model (SAM) 作为一个强大的视觉分割基础模型,可适配用于医学图像分割。然而,医学成像数据通常包含隐私敏感信息,使得利用集中式存储和共享来训练基础模型变得具有挑战性。迄今为止,很少有专为联邦学习框架内的医学图像部署而设计的基础模型,且其分割性能以及通信和训练效率仍有待探索。针对这些问题,我们开发了用于医学图像分割的联邦基础模型(FedFMS),其中包括联邦 SAM(FedSAM)以及一种具有医学 SAM 适配器的高效通信与训练联邦 SAM(FedMSA)。我们在多样化数据集上进行了综合实验,以调查 FedFMS 在各种配置下集中式训练与联邦学习之间的性能差异。实验表明,FedFMS 在保持隐私的同时,能够实现与集中式训练方法训练的模型相当的性能。此外,FedMSA 展示了提升通信和训练效率的潜力。我们的模型实现代码可在 https://github.com/LIU-YUXI/FedFMS 获取。

关键词

引用

@article{arxiv.2403.05408,
  title  = {FedFMS: Exploring Federated Foundation Models for Medical Image Segmentation},
  author = {Yuxi Liu and Guibo Luo and Yuesheng Zhu},
  journal= {arXiv preprint arXiv:2403.05408},
  year   = {2024}
}

备注

Accepted by MICCAI'2024