daVinciNet：机器人辅助手术中运动与手术状态的联合预测
计算机视觉与模式识别
2020-09-28 v1 机器学习
机器人学
摘要
本文提出了一种利用多输入源同时联合预测机器人辅助手术（RAS）中手术器械未来轨迹与手术子任务未来状态的技术。此类预测是实现手术子任务共享控制与监督式自主的必要第一步。分钟级手术子任务，如缝合或超声扫描，通常具有可区分的工具运动学与视觉特征，并可被描述为具有转移图式的一系列细粒度状态。我们提出 daVinciNet——一个用于机器人运动与手术状态预测的端到端双任务模型。daVinciNet 利用从多数据流（包括机器人运动学、内窥镜视觉与系统事件）提取的特征，进行并行的末端执行器轨迹与手术状态预测。我们在 da Vinci Xi 手术系统上采集的扩展机器人术中超声（RIOUS+）成像数据集以及 JHU-ISI 手势与技能评估工作集（JIGSAWS）上评估了所提模型。我们的模型在短期（0.5s）与长期（2s）状态预测准确率上分别达到 93.85% 与 82.11%，以及 1.07mm 短期与 5.62mm 长期轨迹预测误差。
引用
@article{arxiv.2009.11937,
title = {daVinciNet: Joint Prediction of Motion and Surgical State in Robot-Assisted Surgery},
author = {Yidan Qin and Seyedshams Feyzabadi and Max Allan and Joel W. Burdick and Mahdi Azizian},
journal= {arXiv preprint arXiv:2009.11937},
year = {2020}
}
备注
Accepted to IROS 2020