Surgical-DeSAM：解耦 SAM 以实现机器人手术中的器械分割
计算机视觉与模式识别
2024-04-23 v1
摘要
目的：最近的 Segment Anything Model (SAM) 在各种应用中 demonstrate 了在点、文本或边界框提示下的惊人性能。然而，在 safety-critical 手术任务中，由于 (i)缺乏监督学习的逐帧提示，(ii)在实时跟踪应用中不切实际逐帧提示，以及 (iii)为离线应用注释提示成本高昂，提示无法使用。方法：我们开发了 Surgical-DeSAM 来生成用于解耦 SAM 的自动边界框提示，以实现机器人手术中的实时器械分割。我们利用常用检测架构 DETR，并对其进行 fine-tuning 以获取器械的边界框提示。随后我们采用解耦 SAM (DeSAM) 的方式，用 DETR 编码器替换图像编码器，并对 prompt 编码器和 mask 解码器进行 fine-tuning 以获得手术器械的实例分割。为提高检测性能，我们采用了 Swin-transformer 以获得更好的特征表示。结果：该方法在 MICCAI 手术器械分割挑战赛 EndoVis 2017 和 2018 的两个公开数据集上进行了验证。与 SOTA 器械分割方法相比，我们的方法在 EndoVis 2017 和 2018 上分别实现了 89.62 和 90.70 的 dice metrics。结论：我们的大量实验和验证表明，Surgical-DeSAM 在无需任何额外提示的情况下实现了实时器械分割，并优于其他 SOTA 分割方法。
引用
@article{arxiv.2404.14040,
title = {Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery},
author = {Yuyang Sheng and Sophia Bano and Matthew J. Clarkson and Mobarakol Islam},
journal= {arXiv preprint arXiv:2404.14040},
year = {2024}
}
备注
8 pages, 2 figures