无需人工干预的手术器械分割再审视：一种图划分视角

内窥镜图像上的手术器械分割（SIS）是计算机辅助干预中一项长期且关键的任务，旨在促进微创手术。鉴于近期深度学习方法的兴起及其对数据的需求，基于大量专家标注来训练神经预测模型已成为该领域的主流和现成方法，然而，这可能给临床医生带来沉重的负担，因为他们需要为收集到的手术视频帧准备精细的像素级标签。在这项工作中，我们提出了一种无监督方法，将视频帧分割重新构建为一个图划分问题，并将图像像素视为图节点，这与以往的工作有显著不同。首先利用一个自监督预训练模型作为特征提取器，以捕获高级语义特征。然后，从特征中计算拉普拉斯矩阵，并进行特征分解以进行图划分。在“深层”特征向量上，手术视频帧被有意义地分割成不同的模块，如工具和组织，提供可区分的语义信息，如位置、类别和关系。然后，可以通过对特征向量应用聚类或阈值来自然地解决分割问题。我们在各种数据集（例如EndoVis2017、EndoVis2018、UCL等）上针对不同的临床终点进行了广泛的实验。在所有具有挑战性的场景中，我们的方法都表现出卓越的性能和鲁棒性，高于无监督的最先进（SOTA）方法。代码已发布在https://github.com/MingyuShengSMY/GraphClusteringSIS.git。