优化SAM的提示策略：跨越多种医学影像模态的肿瘤分割
图像与视频处理
2024-12-31 v2
摘要
目的：评估各种Segment Anything Model（SAM）提示策略在四个肿瘤数据集上的应用，并开发一个强化学习（RL）代理来优化SAM提示 placement。材料与方法：本回顾性研究包括四个独立的卵巢、肺、肾和乳腔肿瘤数据集。对所有肿瘤进行手动分割和SAM辅助分割。开发了 RL 模型以预测和选择 SAM 提示点，以最大化分割性能。采用成对 t 检验对分割结果进行统计分析。结果：结果表明，增加提示点的数量显著提高了分割精度，卵巢肿瘤的 Dice 系数从单个提示点上的0.272提高到5个以上提示点上的0.806。提示位置也影响性能，表面和并集基于的提示优于中心基于的提示，分别在卵巢和乳腔肿瘤上实现了平均 Dice 系数为0.604和0.724。RL 代理在卵巢肿瘤上实现了最高 Dice 系数0.595，优于随机和其他 RL 策略。此外，它显著减少了分割时间，采用 SAM 相对于手动方法实现了近十倍的改进。结论：虽然增加SAM提示点和非中心提示 generally 改善了分割精度，但每种病种和模态都有特定的最佳阈值和placement策略。我们的 RL 代理在其他代理中实现了卓越的性能，同时显著减少了分割时间。
引用
@article{arxiv.2412.17943,
title = {Optimizing Prompt Strategies for SAM: Advancing lesion Segmentation Across Diverse Medical Imaging Modalities},
author = {Yuli Wang and Victoria Shi and Wen-Chi Hsu and Yuwei Dai and Sophie Yao and Zhusi Zhong and Zishu Zhang and Jing Wu and Aaron Maxwell and Scott Collins and Zhicheng Jiao and Harrison X. Bai},
journal= {arXiv preprint arXiv:2412.17943},
year = {2024}
}