SAM 遇见机器人手术:一项鲁棒性视角的实证研究
图像与视频处理
2023-05-01 v1 计算机视觉与模式识别
机器人学
摘要
Segment Anything Model (SAM) 是一种语义分割的基础模型,并借助提示展现出优异的泛化能力。在本实证研究中,我们考察了 SAM 在机器人手术领域的鲁棒性与零样本泛化能力,涵盖以下设置:(i) 有提示 vs. 无提示;(ii) 边界框 vs. 基于点的提示;(iii) 在五种严重度等级下的腐蚀与扰动下的泛化;以及 (iv) 最先进的有监督模型 vs. SAM。我们使用 MICCAI EndoVis 2017 和 2018 挑战赛的两个知名机器人器械分割数据集进行了所有观测。我们广泛的评估结果揭示,尽管 SAM 在边界框提示下展现出显著的零样本泛化能力,但其在基于点的提示和无提示设置下难以分割整个器械。此外,我们的定性图示表明,在同一边界框内或基于点的提示下存在器械重叠的场景中,模型要么未能预测器械掩码的部分(如钳口、腕部),要么将器械部分预测为不同类别。事实上,在一些具有血液、反射、模糊和阴影的复杂手术场景中它无法识别器械。另外,SAM 在遭受各种形式数据腐蚀时不足以保持高性能。因此,我们可以认为,若无进一步的领域特定微调,SAM 尚未准备好用于下游手术任务。
引用
@article{arxiv.2304.14674,
title = {SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective},
author = {An Wang and Mobarakol Islam and Mengya Xu and Yang Zhang and Hongliang Ren},
journal= {arXiv preprint arXiv:2304.14674},
year = {2023}
}
备注
Work under active progress