面向 3D 医学图像分割的训练-free 基础模型 Few-Shot 适应
计算机视觉与模式识别
2025-01-17 v1
摘要
视觉基础模型在 various image analysis 任务中取得了显著进展。在图像分割任务中，基础模型如 Segment Anything Model (SAM) 通过用户提供的提示实现了可泛化的零样本分割。然而，SAM 主要在自然图像上训练，缺乏医学成像的领域特定专业知识。这一限制在将 SAM 应用于医学图像分割时提出了挑战，包括需要在专门的医学数据集上进行大量微调以及对手动提示的依赖，这两者都既费时又需要医学专家介入。本工作引入了训练-free SAM (FATE-SAM)，这是一种新型方法，旨�应用于 3D 医学图像分割。FATE-SAM 重新组装预训练的 SAM2 模块，实现 Few-Shot 适应，利用少量支持样本捕获解剖知识并实现无提示分割，无需模型微调。为处理医学图像的体积特性，我们引入了体积一致性机制，以增强 3D 切片之间的空间一致性。我们在多个医学成像数据集上评估了 FATE-SAM，并将其与监督学习方法、零样本 SAM 方法以及微调医学 SAM 方法进行比较。结果表明，FATE-SAM 能提供稳健且准确的分割，无需大型标注数据集和医学专家干预，为临床应用提供了实用、高效的医学图像分割解决方案。
引用
@article{arxiv.2501.09138,
title = {Few-Shot Adaptation of Training-Free Foundation Model for 3D Medical Image Segmentation},
author = {Xingxin He and Yifan Hu and Zhaoye Zhou and Mohamed Jarraya and Fang Liu},
journal= {arXiv preprint arXiv:2501.09138},
year = {2025}
}