从泛化到精度：探索SAM在手术环境中的工具分割
计算机视觉与模式识别
2024-02-29 v1
摘要
目的：精确的工具分割在计算机辅助手术中至关重要。然而，由于伪影的存在以及医学场景中训练数据的有限性，这项任务带来了挑战。能够泛化到未见数据的方法是一个有趣的途径，其中零样本分割为应对数据限制提供了一种选择。与Segment Anything Model（SAM）的初步探索性工作表明，基于边界框的提示具有显著的零样本泛化能力。然而，基于点的提示导致性能下降，并且在图像损坏下进一步恶化。我们认为，SAM在高度损坏的图像上严重过度分割，导致仅考虑单个分割掩码时性能下降，而重叠目标对象的掩码组合则生成准确的预测。方法：我们使用SAM生成内窥镜帧的过度分割预测。然后，我们利用真实工具掩码分析SAM的结果，包括选择最佳单个掩码作为预测以及组合所有重叠目标对象的单个掩码以获得最终预测掩码。我们使用不同强度的合成损坏和包含反事实创建的真实世界损坏的内部数据集，分析了Endovis18和Endovis17器械分割数据集。结果：组合过度分割掩码有助于提高IoU。此外，对于干净图像，选择最佳单个分割呈现出有竞争力的IoU分数。结论：组合的SAM预测在一定的损坏水平下表现出改进的结果和鲁棒性。然而，适当的提示策略对于在医学领域实现这些模型至关重要。
引用
@article{arxiv.2402.17972,
title = {From Generalization to Precision: Exploring SAM for Tool Segmentation in Surgical Environments},
author = {Kanyifeechukwu J. Oguine and Roger D. Soberanis-Mukul and Nathan Drenkow and Mathias Unberath},
journal= {arXiv preprint arXiv:2402.17972},
year = {2024}
}