SurgiTrack：手术视频中的细粒度多类别多器械追踪

准确的手术器械追踪对于计算机辅助干预的成功至关重要。以往的工作通常刚性建模器械轨迹，忽视了手术过程的动态特性，特别是器械出体和出摄像机视野等追踪场景。为解决这一局限，新的CholecTrack20数据集提供了详细标注，从三个视角考虑多个器械轨迹：(1)术中、(2)体内、(3)可见性，代表器械轨迹的不同时间跨度类型。这些细粒度标注增强了追踪灵活性，但也增加了任务复杂度。在遮挡或重新插入体内后重新识别器械仍然具有挑战性，因为视觉相似性高，尤其是同类器械之间。本工作认识到器械操作者在区分器械轨迹实例（特别是同一器械类别内的实例）中的关键作用。然而，操作者信息并未在手术视频中显式捕获。因此，我们提出SurgiTrack，一种新颖的深度学习方法，利用YOLOv7进行精确器械检测，并采用注意力机制建模器械的起源方向（作为操作者的代理）以进行器械重识别。为处理多样的器械轨迹视角，SurgiTrack采用协调二分图匹配，最小化冲突并确保准确的器械身份关联。在CholecTrack20上的实验结果表明SurgiTrack的有效性，超越了基线方法和最先进方法，并具备实时推理能力。本工作为手术器械追踪设立了新标准，为微创手术提供更适应和精确的动态轨迹辅助。