用于腹腔镜视频中器械追踪的弱监督卷积 LSTM 方法
计算机视觉与模式识别
2022-04-04 v2 机器学习
摘要
目的：实时手术器械追踪是未来智能手术室 (OR) 的核心组成部分，因为它对分析和理解手术活动极为重要。当前用于视频中手术器械追踪的方法需要在器械空间位置被手动标注的数据上训练。生成此类训练数据困难且耗时。相反，我们提出仅使用二值存在标注来训练腹腔镜视频的器械追踪器。方法：所提方法由一个端到端训练但仅在器械二值存在标签上弱监督的 CNN + 卷积 LSTM (ConvLSTM) 神经网络组成。我们使用 ConvLSTM 对手术器械运动中的时间依赖性建模，并利用其时空能力平滑定位热图 (Lh-maps) 中的类别峰值激活。结果：我们在 CNN 模型上构建了一个基线追踪器，并证明我们基于 ConvLSTM 的方法在器械存在检测、空间定位和运动追踪上分别优于基线 5.0%、13.9% 和 12.6% 以上。结论：本文中，我们证明二值存在标签足以使用我们所提方法训练深度学习追踪模型。我们还展示了 ConvLSTM 可利用手术视频中连续图像帧的时空相干性来改进器械存在检测、空间定位和运动追踪。关键词：手术工作流分析，器械追踪，弱监督，时空相干性，ConvLSTM，内窥镜视频
引用
@article{arxiv.1812.01366,
title = {Weakly Supervised Convolutional LSTM Approach for Tool Tracking in Laparoscopic Videos},
author = {Chinedu Innocent Nwoye and Didier Mutter and Jacques Marescaux and Nicolas Padoy},
journal= {arXiv preprint arXiv:1812.01366},
year = {2022}
}
备注
14 pages, 3 figures, 3 tables, Supplementary video: https://youtu.be/vnMwlS5tvHE and https://youtu.be/SNhd1yzOe50