将运动流的时间先验融入微创手术的器械分割

视频中的自动器械分割是机器人辅助微创手术中一个本质基础但具有挑战性的问题。在本文中，我们提出了一种新颖的框架，通过将从帧间运动流推导出的时间先验融入注意力金字塔网络来实现准确的分割，从而利用器械运动信息。我们推断的先验能够提供器械位置和形状的可靠指示，其根据帧间运动流从前一帧传播到当前帧。该先验被注入到编码器-解码器分割网络的中间，作为注意力模块金字塔的初始化，以从粗到细显式引导分割输出。通过这种方式，时间动态与注意力网络能够有效互补并相互受益。作为额外用途，我们的时间先验通过反向执行实现了对周期性无标签视频帧的半监督学习。我们在 2017 MICCAI EndoVis 机器人器械分割挑战赛公开数据集上通过三项不同任务对我们的方法进行了广泛验证。我们的方法在所有三项任务上均以较大优势持续超越最先进的结果。我们的半监督变体也展示了在临床实践中降低标注成本的良好潜力。