面向机器人辅助手术的手术室手术活动自动识别
计算机视觉与模式识别
2020-06-30 v1
摘要
手术室（OR）中手术活动的自动识别是创建下一代智能手术设备与工作流程监测/支持系统的关键技术。此类系统有望提升手术室效率，从而降低成本并改善对患者的诊疗服务。本文中，我们研究机器人辅助操作中的自动手术活动识别。我们收集了首个大规模数据集，包含使用飞行时间相机捕获的来自多种机器人手术病例的400段全长多视角视频。我们用10个最受认可且临床相关的活动类别对视频进行了密集标注。此外，我们研究了最先进的计算机视觉动作识别技术并将其适配于手术室环境与该数据集。首先，我们在数据集上微调膨胀三维卷积网络（I3D）以进行片段级活动识别，并用其从视频中提取特征。这些特征随后被输入一叠3个时间高斯混合层以从相邻片段提取上下文，并最终经过长短期记忆（LSTM）网络来学习全长视频中活动的顺序。我们对该模型进行了广泛评估，达到了88%平均精度均值（mean Average Precision）的峰值性能。
引用
@article{arxiv.2006.16166,
title = {Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery},
author = {Aidean Sharghi and Helene Haugerud and Daniel Oh and Omid Mohareri},
journal= {arXiv preprint arXiv:2006.16166},
year = {2020}
}
备注
International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI'20)