探索片段级语义用于手术视频的在线相位识别
计算机视觉与模式识别
2022-06-22 v3
摘要
自动手术相位识别在机器人辅助手术中起着至关重要的作用。现有方法忽略了一个关键问题：手术相位应通过学习片段级语义进行分类，而非仅依赖帧级信息。本文提出一种用于视频手术相位识别的片段注意力层次一致性网络（SAHC）。其核心思想是提取层次化高层语义一致片段，并利用它们来修正由模糊帧引起的错误预测。为此，我们设计了一个时间层次网络以生成层次化高层片段。随后，引入层次片段-帧注意力模块来捕获低层帧与高层片段之间的关系。通过一致性损失对帧及其对应片段的预测进行正则化，网络能够生成语义一致片段，进而纠正由模糊低层帧导致的误分类预测。我们在两个公开手术视频数据集（即 M2CAI16 挑战数据集与 Cholec80 数据集）上验证了 SAHC。实验结果表明，我们的方法优于以往的 SOTA，消融研究证明了所提模块的有效性。我们的代码已发布于：https://github.com/xmed-lab/SAHC。
引用
@article{arxiv.2111.11044,
title = {Exploring Segment-level Semantics for Online Phase Recognition from Surgical Videos},
author = {Xinpeng Ding and Xiaomeng Li},
journal= {arXiv preprint arXiv:2111.11044},
year = {2022}
}
备注
Appear in IEEE TMI