基于时序等变性和语义连续性的标签监督手术器械分割

对于机器人手术视频，仪器存在标注通常以视频流的形式记录，具有减少分割手动标注成本的潜力。然而，仅利用仪器存在标签进行弱监督手术器械分割在手术领域鲜有探索，因为面临高度欠约束的挑战。时序属性可通过捕捉时间上的顺序依赖性和模式来增强表示学习，即使在不完全监督情况也能发挥作用。基于此，我们考虑手术视频固有的时序属性，并从不同角度扩展了两个阶段的弱监督分割范式。首先，我们对相邻特征之间施加时序等变约束，以增强像素级时序一致性；其次，我们约束跨时序维度中全局区域与局部区域之间的类感知语义连续性。最后，我们从连续帧生成时序增强的伪掩码，以抑制无关区域。我们在两个手术视频数据集上进行大量实验验证，包括一个腹肠切除术基准数据集和一个真实机器人左侧肝区切除术数据集。我们以固定时间步长标注器械实例标签，并由拥有三年经验的临床医生复核，以评估分割结果。实验结果表明，我们的方法在性能上具有前景，持续实现与之前的最新方法相当或更好的结果。