基于 AR 与三维场景流及手部交互的机器人手术远程指导

随着机器人手术的日益普及，出于患者安全的考虑，教育变得愈发重要且迫切所需。然而，经验丰富的外科医生因其繁忙的临床日程或工作于远方城市而可及性有限，因而难以为新手提供充足的教育资源。远程指导作为一种有效方式，可帮助解决此问题，但传统方法局限于纯文本、音频或 2D 视频，不够直观生动。增强现实（AR）作为一项蓬勃发展并广泛用于各类教育场景的技术，有望为视觉体验与交互式教学提供新的可能。本文提出一种新颖的基于 AR 的机器人手术远程指导系统，具备高效的三维场景可视化与自然的三维手部交互。导师使用头戴式显示器（即 HoloLens）可远程监控由受训者操作端流式传输的过程。导师也可直接通过手势提供反馈，该反馈随即传输至受训者并在手术控制台中作为引导显示。我们在真实手术立体视频与常见机器人训练任务（即插钉转移与缝合）的离体场景上对该系统进行了全面验证。在流式场景可视化的保真度、手部交互反馈的准确性以及整个远程指导系统各组件的低延迟方面，均展示了令人满意的结果。本工作展示了利用 AR 技术为机器人手术教育提供可靠、灵活且低成本解决方案的可行性，并具有极大的临床应用潜力。