基于注册实现的SAM提示工程的分割——使用五个参考图像
计算机视觉与模式识别
2024-07-26 v1
摘要
最近提出的Segment Anything Model（SAM）是图像分割的通用工具，但需要额外的适应和仔细的微调才能用于医学图像分割，尤其是对于小尺寸、形状不规则且边界模糊的解剖结构—such as 本工作中感兴趣的髋关节软骨——。经手术后修复的软骨呈现SAM训练中未见过的成像模式，进一步增加了使用SAM（无论是否进行通用微调）应对此类问题的挑战。为此，我们提出了一种基于注册的提示工程框架，用于使用SAM进行医学图像分割。该方法利用 established 的图像注册算法将待分割的新图像与少量参考图像对齐，而无需分割标签。由注册生成的空间变换要么对齐新图像，要么对预定义的基于点的文件进行对齐，然后用作SAM的输入。该策略只需5个具有定义点提示的参考图像，即可有效地为新图像的推断提供提示，而无需任何分割标签。对接受软骨干细胞治疗的患者MRI图像的评估显示，分别对髋骨、胫骨、髂软骨和胫软骨的Dice得分分别为0.89、0.87、0.53和0.52。该方法优于基于图谱的标签融合，相当于在此应用中上限为公平基准的监督nnUNet，后者需要参考样本的完整分割标签。代码已公开：https://github.com/chrissyinreallife/KneeSegmentWithSAM.git
引用
@article{arxiv.2407.17933,
title = {Segmentation by registration-enabled SAM prompt engineering using five reference images},
author = {Yaxi Chen and Aleksandra Ivanova and Shaheer U. Saeed and Rikin Hargunani and Jie Huang and Chaozong Liu and Yipeng Hu},
journal= {arXiv preprint arXiv:2407.17933},
year = {2024}
}
备注
Accepted to the 11th International Workshop on Biomedical Image Registration (WBIR 2024)