基于区域提议与检测深度神经网络的机器人辅助手术视频中器械检测与定位
计算机视觉与模式识别
2020-08-04 v1
摘要
机器人辅助手术（RAS）视频的视频理解是一个活跃的研究领域。对外科医生的手势与技能水平进行建模是一个有趣的问题。所得见解可应用于有效的技能习得、客观技能评估、实时反馈以及人机协作手术。我们针对 RAS 视频理解中的器械检测与定位开放问题，提出了一种严格基于计算机视觉方法并借助深度学习最新进展的解决方案。我们提出了一种使用多模态卷积神经网络用于 RAS 视频中器械快速检测与定位的架构。据我们所知，该方法将是首个在 RAS 视频中引入深度神经网络进行器械检测与定位的方法。我们的架构应用区域提议网络（RPN）以及用于目标检测的多模态双流卷积网络，在图像与时间运动线索融合的基础上联合预测目标性与定位。我们以平均精度（AP）91% 和每测试帧检测平均计算时间 0.1 秒的结果表明，我们的研究优于传统用于医学成像的方法，同时也强调了使用 RPN 在精度与效率上的益处。我们还引入了一个用于 RAS 视频理解的新数据集 ATLAS Dione。我们的数据集提供了来自 Roswell Park Cancer Institute（RPCI）（布法罗，纽约）的十位外科医生在 daVinci Surgical System（dVSS R）上执行六项不同手术任务的视频数据，并带有逐帧机器人器械标注。
引用
@article{arxiv.2008.00936,
title = {Detection and Localization of Robotic Tools in Robot-Assisted Surgery Videos Using Deep Neural Networks for Region Proposal and Detection},
author = {Duygu Sarikaya and Jason J. Corso and Khurshid A. Guru},
journal= {arXiv preprint arXiv:2008.00936},
year = {2020}
}