微创手术视频中的弱半监督手术器械检测

手术器械检测对于分析和评估微创手术视频至关重要。当前方法大多基于监督学习，需要大量完全实例级标注（即边界框）。然而，由于标注负担沉重，带有实例级标注的大型图像数据集往往有限。因此，当提供图像级标注而非实例级标注时，手术器械检测显得尤为重要，因为图像级标注比实例级标注省时得多。在本工作中，我们旨在极度昂贵的标注负担与检测性能之间取得平衡。我们进一步提出了一种共现损失（co-occurrence loss），该损失考虑了某些器械对在图像中经常共同出现的特征，从而利用图像级标注。利用共现损失封装共现知识，有助于克服因某些器械具有相似形状和纹理而产生的分类困难。在 Endovis2018 数据集上进行的各种数据设置下的广泛实验表明了我们方法的有效性。