利用无标注多模态传感器数据预测腹腔镜手术时长
计算机视觉与模式识别
2019-04-04 v2
摘要
目的 手术过程往往不可预测，使得难以事先估计手术时长。一种在线分析手术干预工作流并自动预测剩余时长的情境感知方法可缓解这些问题。作为此类估计的基础，需要关于干预当前状态的信息。方法 如今，手术室包含多种传感器。在腹腔镜干预期间，内镜视频流是此类信息的理想来源。然而，由于其高维度，从视频中提取定量信息具有挑战性。其他手术设备（如气腹机、灯光等）提供的数据流与视频流不同，更紧凑且更易量化。但这些数据流是否提供足够信息以估计手术时长尚不确定。在此，我们提出并比较了基于卷积神经网络的方法，用于基于无标注数据（如内镜图像和手术设备流）连续预测腹腔镜干预的时长。结果 这些方法在80例各类腹腔镜干预上进行了评估，这些干预均有手术设备数据和内镜视频可用。此处组合方法表现最佳，总体平均误差为37%，半程平均误差为28%。结论 在本文中，我们提出了据我们所知首个在腹腔镜环境下利用无标注内镜视频数据和手术设备数据在线预测手术时长的方法。我们还表明，结合视觉与设备数据的方法优于仅基于视觉的方法，而仅基于器械使用和手术设备数据的方法表现较差，显示了视觉通道的重要性。
引用
@article{arxiv.1811.03384,
title = {Prediction of laparoscopic procedure duration using unlabeled, multimodal sensor data},
author = {Sebastian Bodenstedt and Martin Wagner and Lars Mündermann and Hannes Kenngott and Beat Müller-Stich and Michael Breucha and Sören Torge Mees and Jürgen Weitz and Stefanie Speidel},
journal= {arXiv preprint arXiv:1811.03384},
year = {2019}
}