关节镜中的无缝增强现实集成：用于关节重建与引导的流水线

关节镜是一种用于诊断和治疗关节问题的微创外科手术。关节镜的临床工作流程通常包括通过一个小切口将关节镜插入关节，在此过程中，外科医生主要依靠通过关节镜的视觉评估来进行导航和操作。然而，关节镜受限的视野和缺乏深度感知给手术中导航复杂的关节结构以及实现手术精度带来了挑战。为了增强术中感知，我们提出了一种稳健的流水线，该流水线结合了同步定位与地图构建、深度估计和 3D 高斯泼溅，仅基于单目关节镜视频即可真实地重建关节内结构。将 3D 重建扩展到增强现实（AR）应用，我们的解决方案以人在回路的方式为关节切迹测量和注释锚定提供 AR 辅助。与传统的基于运动恢复结构和神经辐射场的方法相比，我们的流水线平均在 7 分钟内实现密集的 3D 重建和具有显式 3D 表示的竞争性渲染保真度。在四个体模数据集上评估时，我们的方法平均实现了 RMSE = 2.21mm 的重建误差、PSNR = 32.86 和 SSIM = 0.89。由于我们的流水线无需任何额外数据和/或硬件，即可直接从单目关节镜实现 AR 重建和引导，因此我们的解决方案可能具有增强关节镜术中感知和促进手术精度的潜力。我们的 AR 测量工具实现了 1.59 ± 1.81mm 的精度，AR 注释工具实现了 0.721 的平均交并比。