用于胃旁路手术中手术阶段与步骤联合识别的多任务时间卷积网络
计算机视觉与模式识别
2023-02-23 v1
摘要
目的：手术活动的自动分割与分类对于提供计算机辅助介入中的高级支持和机器人辅助手术中的自主功能至关重要。先前的工作集中于识别粗粒度活动（如阶段）或细粒度活动（如手势）。本工作旨在直接从视频中联合识别两个互补的粒度层级，即阶段和步骤。方法：我们针对腹腔镜胃旁路手术引入了两个相关的手术活动——阶段和步骤。我们提出了一种多任务多阶段时间卷积网络（MTMS-TCN）以及多任务卷积神经网络（CNN）训练设置，以联合预测阶段和步骤，并借助其互补性更好地评估手术执行过程。我们在一个由 40 台手术组成的大型视频数据集（Bypass40）上评估了所提方法。结果：我们给出了在 Bypass40 数据集上针对阶段和步骤识别的若干基线模型的实验结果。与单任务方法相比，所提 MTMS-TCN 方法在准确率和召回率上均以 1-2% 的优势优于阶段和步骤识别。此外，对于步骤识别，MTMS-TCN 在准确率、精确率和召回率上相比基于 LSTM 的模型取得了 3-6% 的更优性能。结论：本工作中，我们提出了一种用于手术活动识别的多任务多阶段时间卷积网络，在带有多级标注的 Bypass40 胃旁路数据集上相比单任务模型表现出改进的结果。所提方法表明阶段和步骤的联合建模有利于提升每类活动的整体识别效果。
引用
@article{arxiv.2102.12218,
title = {Multi-Task Temporal Convolutional Networks for Joint Recognition of Surgical Phases and Steps in Gastric Bypass Procedures},
author = {Sanat Ramesh and Diego Dall'Alba and Cristians Gonzalez and Tong Yu and Pietro Mascagni and Didier Mutter and Jacques Marescaux and Paolo Fiorini and Nicolas Padoy},
journal= {arXiv preprint arXiv:2102.12218},
year = {2023}
}
备注
Accepted to IPCAI 2021