TAToo：基于视觉的颅骨底手术中解剖结构与器械联合跟踪

目的：跟踪手术器械与患者解剖结构的 3D 运动是基于计算机辅助的颅骨底手术的基本需求。估计的运动既可用于术中引导，也可用于下游技能分析。仅从手术视频中恢复此类运动是可取的，因其符合当前临床工作流与器械配置。方法：我们提出解剖与器械跟踪器（TAToo）。TAToo 从立体显微视频中联合跟踪患者颅骨与手术钻的刚体 3D 运动。TAToo 以端到端可微形式通过迭代优化过程估计运动。为获得鲁棒跟踪性能，TAToo 采用概率公式并在物体层面施加几何约束。结果：我们在仿真数据（含真实运动真值）以及拟人幻影数据（光学跟踪提供强基线）上验证 TAToo。我们报告颅骨与钻的帧间跟踪精度分别为亚毫米与毫米级，旋转误差低于 1°。我们进一步展示了 TAToo 在手术导航场景中的可能用途。结论：我们提出 TAToo，其在颅骨底手术中同时跟踪手术器械与患者解剖结构。TAToo 直接从手术视频预测运动，无需任何标记。我们的结果表明 TAToo 的性能优于竞争方法。未来工作将包括微调我们的深度网络，以达到颅骨底手术应用所需的 1 mm 临床精度目标。