MFM-DA: 用于医学基础模型高效域适应的实例感知适配器与层次对齐
计算机视觉与模式识别
2025-03-04 v1
摘要
在大型数据集上训练的医学基础模型（MFMs）在各种任务中展现了优越的性能。然而，这些模型在实际应用中仍然面临域差距问题。具体而言，即使在源域数据上进行微调后，针对任务适配的基础模型在目标域上往往表现不佳。为了应对这一挑战，我们提出了一个名为 MFM-DA 的少样本无监督域适应（UDA）框架，仅利用有限数量的无标签目标域图像。我们的方法首先训练一个去噪扩散概率模型（DDPM），然后通过提出的动态实例感知适配器和分布方向损失将其适配到目标域，使 DDPM 能够将源域图像转换为目标域风格。适配后的图像随后通过 MFM 进行处理，在此我们引入了一种设计好的通道-空间对齐低秩适应（LoRA），以确保有效的特征对齐。在optic cup和disc分割任务上的广泛实验表明，MFM-DA 超越了最先进的方法。我们的工作为 MFM 在实际部署中的域差距问题提供了一个实用的解决方案。代码将在这里发布。
引用
@article{arxiv.2503.00802,
title = {MFM-DA: Instance-Aware Adaptor and Hierarchical Alignment for Efficient Domain Adaptation in Medical Foundation Models},
author = {Jia-Xuan Jiang and Wenhui Lei and Yifeng Wu and Hongtao Wu and Furong Li and Yining Xie and Xiaofan Zhang and Zhong Wang},
journal= {arXiv preprint arXiv:2503.00802},
year = {2025}
}