SurgicalPart-SAM：面向手术器械分割的部分到整体协同提示
计算机视觉与模式识别
2024-03-26 v2 人工智能
机器人学
摘要
Segment Anything Model (SAM)在通用目标分割中展现出潜力，并为各种应用提供了可能性。现有方法通过使用手术数据微调基于SAM的框架，将SAM应用于手术器械分割(SIS)。然而，它们在两个关键方面存在不足：(1) 使用器械掩码进行直接模型微调将每个器械视为单一实体，忽略了其复杂结构和细粒度细节；(2) 基于器械类别的提示不够灵活和信息丰富，无法描述器械结构。为了解决这些问题，本文研究了文本可提示的SIS，并提出了SurgicalPart-SAM (SP-SAM)，一种新颖的SAM高效微调方法，该方法在专家关于器械部件组成的知识指导下，明确地将器械结构知识与SAM的通用知识相结合。具体来说，我们通过提出以下内容来实现这一点：(1) 协同提示，通过协作类别级和部件级文本来描述器械结构；(2) 跨模态提示编码器，将文本提示与视觉嵌入联合编码为判别性部件级表示；(3) 部分到整体自适应融合与层次解码，自适应地将部件级表示融合为整体，以在手术场景中实现精确的器械分割。基于这些，SP-SAM在整体结构和部件级细节方面获得了更好的手术器械理解能力。在EndoVis2018和EndoVis2017数据集上的大量实验表明，SP-SAM以最少的可调参数实现了最先进的性能。代码将在https://github.com/wenxi-yue/SurgicalPart-SAM提供。
引用
@article{arxiv.2312.14481,
title = {SurgicalPart-SAM: Part-to-Whole Collaborative Prompting for Surgical Instrument Segmentation},
author = {Wenxi Yue and Jing Zhang and Kun Hu and Qiuxia Wu and Zongyuan Ge and Yong Xia and Jiebo Luo and Zhiyong Wang},
journal= {arXiv preprint arXiv:2312.14481},
year = {2024}
}
备注
Technical Report. The source code will be released at https://github.com/wenxi-yue/SurgicalPart-SAM