SAM 遇见机器人手术：关于泛化性、鲁棒性与适应性的实证研究
摘要
Segment Anything Model（SAM）作为语义分割的基础模型，在广泛的下游场景中展现出卓越的泛化能力。在本实证研究中，我们考察了 SAM 在机器人手术领域的鲁棒性与零样本泛化能力。我们全面探索了不同场景，包括有提示与无提示情况、基于边界框和点的提示方法，以及在五种严重度级别的损坏与扰动下的泛化能力。此外，我们将 SAM 的性能与最先进的监督模型进行了比较。我们使用来自 MICCAI EndoVis 2017 和 2018 挑战赛的两个知名机器人器械分割数据集进行了所有实验。我们广泛的评估结果揭示，尽管 SAM 在边界框提示下展现出显著的零样本泛化能力，但它在基于点的提示和无提示设置下难以分割整个器械。此外，我们的定性图示表明，在同一边界框内存在重叠器械或使用基于点的提示的场景中，模型要么未能预测器械掩码（如钳口、腕部）的某些部分，要么将器械的某些部分预测为错误类别。事实上，SAM 难以在存在血液、反光、模糊和阴影的复杂手术场景中识别器械。此外，SAM 在面对各种形式的数据损坏时鲁棒性不足，无法保持高性能。我们还尝试使用低秩适应（LoRA）对 SAM 进行微调，并提出了 SurgicalSAM，其展示了无需提示的按类掩码预测能力。因此，我们可以认为，若无进一步的领域特定微调，SAM 尚未准备好用于下游手术任务。
引用
@article{arxiv.2308.07156,
title = {SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation},
author = {An Wang and Mobarakol Islam and Mengya Xu and Yang Zhang and Hongliang Ren},
journal= {arXiv preprint arXiv:2308.07156},
year = {2023}
}
备注
Accepted as Oral Presentation at MedAGI Workshop - MICCAI 2023 1st International Workshop on Foundation Models for General Medical AI. arXiv admin note: substantial text overlap with arXiv:2304.14674