下一代手术导航：手术器械的无标记多视角6DoF位姿估计

传统计算机视觉的先进研究正日益应用于外科领域。计算机辅助手术的一个重点是使用基于深度学习的方法，以纯图像化的6DoF位姿估计取代基于标记的器械定位跟踪系统。然而，最先进的单视角位姿估计方法尚未达到手术导航所需的精度。在此背景下，我们研究了多视角设置对手术器械高精度且鲁棒于遮挡的6DoF位姿估计的益处，并推导出针对手术室挑战的理想相机系统建议。本工作的贡献有三方面。首先，我们提出一个由固定与头戴相机组成的多相机采集设置，可用于研究不同相机配置下位姿估计方法的性能。其次，我们发布了一个离体脊柱手术的多视角RGB-D视频数据集，采集于外科湿实验室与真实手术室，包含针对外科医生、器械和患者解剖结构的丰富标注。第三，我们评估了三种最先进的单视角与多视角方法在手术器械6DoF位姿估计任务上的表现，并分析了相机配置、训练数据和遮挡对位姿精度与泛化能力的影响。最佳方法利用五相机进行多视角位姿优化，在理想条件下对手术钻实现平均位置误差1.01 mm、平均姿态误差0.89° ，对螺丝刀实现2.79 mm与3.33°。我们的结果表明，手术器械的无标记跟踪正成为现有基于标记系统的可行替代方案。