SAF-IS：一种用于手术器械实例分割的无空间标注框架
计算机视觉与模式识别
2023-09-06 v1
摘要
手术器械的实例分割是一个长期的研究问题，对许多计算机辅助手术应用的发展至关重要。该问题通常通过深度学习模型的完全监督训练来解决，需要昂贵的像素级标注用于训练。在本工作中，我们开发了一种不依赖空间标注进行训练的实例分割框架。相反，我们的方案仅需要二值器械掩码（可使用近期无监督方法获得）和二值器械存在标签（在机器人辅助手术中可免费获得）。基于二值掩码信息，我们的方案学习从单帧中提取单个器械实例，并将每个实例编码为捕获其语义特征的紧凑向量表示。此类表示引导自动选择极少量实例（我们实验中仅8个）展示给人类操作员进行器械类型标注。所收集的信息最终用于将所有训练实例与二值器械存在标签相匹配，提供训练器械实例分类器的有效监督信号。我们在EndoVis 2017和2018分割数据集上验证我们的框架。我们提供了使用手动标注获得的二值掩码或无监督二值分割模型预测获得的二值掩码的结果。后一种方案产生了完全免于空间标注的实例分割方法，优于若干最先进的完全监督分割方法。
引用
@article{arxiv.2309.01723,
title = {SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of Surgical Tools},
author = {Luca Sestini and Benoit Rosa and Elena De Momi and Giancarlo Ferrigno and Nicolas Padoy},
journal= {arXiv preprint arXiv:2309.01723},
year = {2023}
}