SAMDA：利用 SAM 进行电子显微镜分割的小样本域适应
图像与视频处理
2024-03-14 v1 计算机视觉与模式识别
机器学习
摘要
研究表明，当样本和标注有限时，传统的电子显微镜分割深度学习方法通常迁移性较低，而大规模视觉基础模型在不同域之间迁移时更为鲁棒，但在微调下面临次优改进。在这项工作中，我们提出了一个新的小样本域适应框架 SAMDA，它将 Segment Anything Model (SAM) 与 nnUNet 在嵌入空间中结合，以实现高迁移性和准确性。具体来说，我们选择基于 Unet 的网络作为“专家”组件，以高效学习分割特征，并设计了一个基于 SAM 的适应模块作为域迁移的“通用”组件。通过融合“通用”和“专家”组件，我们缓解了大规模视觉基础模型固有的复杂预训练知识中的模态不平衡问题，以及传统神经网络固有的迁移性挑战。我们模型的有效性在两个不同模态的电子显微镜图像数据集上进行了线粒体分割评估，目标域的 Dice 系数提高了 6.7%。此外，基于 SAM 的适配器仅使用单张标注图像，其性能就显著优于 nnUNet 上的 10-shot 域适应。我们进一步在四个不同来源的 MRI 数据集上验证了我们的模型，以证明其泛化能力。
引用
@article{arxiv.2403.07951,
title = {SAMDA: Leveraging SAM on Few-Shot Domain Adaptation for Electronic Microscopy Segmentation},
author = {Yiran Wang and Li Xiao},
journal= {arXiv preprint arXiv:2403.07951},
year = {2024}
}