FACMIC：面向医学图像分类的联邦自适应 CLIP 模型

联邦学习（FL）已成为医学图像分析的有前景的 method，允许使用去中心化数据进行深度模型训练，同时确保数据隐私。然而，在 FL 领域，通信成本在评估模型性能方面发挥关键作用。因此，在数据隐私受限的情况下，将视觉基础模型迁移到 FL 环境尤其具有挑战性 due to the significant resource costs involved. 本文引入了一个用于分类任务的自适应 CLIP 模型。我们采用轻量级且高效的特征注意力模块，用于 CLIP，以为每个客户端的数据选择合适的特征。此外，我们提出了一种 domain adaptation 技术以减少客户端之间数据分布的差异。在四个公开数据集上的实验结果表明，FACMIC 在处理真实世界和多源医学影像数据方面表现优异。我们的代码已公开于 https://github.com/AIPMLab/FACMIC。