SurgiPose：基于单目视频估计外科手术工具运动学用于外科机器人学习

仿真学习（IL）在实现自主灵巧操作方面显示出巨大潜力，包括学习外科任务。要充分发接 IL 为手术所带来的潜力，仍需临床数据集，而这些数据缺乏当前 IL 方法所需的运动学数据。单目外科视频作为大规模外科示范的有前景的来源，使得基于单目姿态估计成为促进大规模机器人学习的关键步骤。为此，我们提出 SurgiPose，一种基于可微分渲染的方法，从单目外科视频中估计运动学信息，无需直接获取真实运动学数据。我们的方法通过优化工具姿态参数来最小化渲染图像与真实图像之间的差异，从而推断工具轨迹和关节角度。为评估方法有效性，我们在两个机器人外科任务上进行实验：组织提升和针头采集，使用 da Vinci Research Kit Si（dVRK Si）。我们分别使用真实测量的运动学数据和来自视频估计的运动学数据训练仿真学习策略，并进行性能比较。我们的结果表明，基于估计运动学训练的策略 achieves 与基于真实数据的策略相当的成功率，表明了基于单目视频的运动学估计在外科机器人学习中是可行的。通过实现从单目外科视频中进行运动学估计，我们的工作为从在线外科数据中大规模学习自主外科策略奠定了基础。