单目微创手术中用于深度线索的增强现实

在诸如腹腔镜手术的微创手术（MIS）中，主要挑战之一是缺乏深度感知。近年来，腹腔镜场景跟踪与表面重建一直是研究的焦点，旨在提供丰富的附加信息以辅助手术过程并弥补深度感知问题。然而，鲁棒的 3D 表面重建以及在重建场景上具备深度感知的增强现实尚未见报道。本文介绍了我们在此领域的工作。首先，我们采用最先进的视觉同时定位与地图构建（SLAM）框架——ORB-SLAM——并将该算法扩展应用于 MIS 场景，以实现可靠的内窥镜相机跟踪和显著点映射。然后，我们基于从 SLAM 框架中提取的稀疏点云，开发了一个鲁棒的全局 3D 表面重建框架。我们的方法是在移动最小二乘平滑算法中结合离群点去除滤波器，然后采用 Poisson 表面重建从非结构化稀疏点云中获取平滑表面。我们通过与真实相机轨迹和用于渲染合成模拟视频的器官模型表面进行对比，对所提出的方法进行了定量评估。测试中使用的体内腹腔镜视频证明了我们提出的框架在相机跟踪和表面重建方面的鲁棒性和准确性，展示了我们的算法在单目内窥镜 MIS 中实现深度增强和深度校正增强现实的潜力。