基于检索增强的少样本医学图像分割方法——结合掩码注意力模型
计算机视觉与模式识别
2025-04-02 v2
摘要
医学图像分割对于临床决策至关重要，但稀缺的标注数据 presents significant 挑战。少样本分割（FSS）方法虽前景可期，但往往需要在目标域上训练，且难以跨模态泛化。同样，将掩码注意力模型（SAM）用于医学成像也存在局限，包括需要微调和领域特定适应。为此，我们提出一种新方法，利用掩码注意力模型2（SAM 2）和DINOv2进行检索增强的少样本医学图像分割。该方法使用DINOv2的特征作为查询，从有限的标注数据中检索相似样本，将其编码为记忆并存储在记忆库中。借助SAM 2的记忆注意力机制，该模型将这些记忆作为条件，生成目标图像的准确分割。我们在三个医学图像分割任务上评估了该框架，证明其在无需任何重新训练或微调的情况下，具有优异的性能和跨模态泛化能力。总体而言，该方法为少样本医学图像分割提供了实用且有效的解决方案，具有显著的潜力，可作为临床应用中的有价值标注工具。
引用
@article{arxiv.2408.08813,
title = {Retrieval-augmented Few-shot Medical Image Segmentation with Foundation Models},
author = {Lin Zhao and Xiao Chen and Eric Z. Chen and Yikang Liu and Terrence Chen and Shanhui Sun},
journal= {arXiv preprint arXiv:2408.08813},
year = {2025}
}