通过术前与术中图像融合实现腹腔镜肝切除术增强现实方法的客观比较

用于腹腔镜肝切除术的增强现实是一种可视化模式，允许外科医生通过将肿瘤和血管投影在腹腔镜图像上来定位嵌入肝脏内部的肿瘤和血管。在此过程中，从 CT 或 MRI 数据中提取的术前 3D 模型被配准到术中腹腔镜图像上。在 3D-2D 融合方面，大多数算法利用解剖标志来引导配准。这些标志包括肝下缘、镰状韧带和遮挡轮廓。它们通常在腹腔镜图像和 3D 模型中由人工标记，这非常耗时，且如果由非经验丰富的用户操作可能会包含错误。因此，需要使该过程自动化，以便在手术室中有效地使用增强现实。我们介绍了在医学图像计算与计算机辅助干预（MICCAI 2022）会议期间举办的术前与术中腹腔镜融合挑战赛（P2ILF），该挑战赛探讨了自动检测这些标志并将其用于配准的可能性。挑战赛分为两项任务：1) 2D 和 3D 标志检测任务，以及 2) 3D-2D 配准任务。为各团队提供了训练数据，包含来自 9 名患者的 167 张腹腔镜图像和 9 个术前 3D 模型，以及相应的 2D 和 3D 标志标注。共有来自 4 个国家的 6 支团队参与，其提出的方法在来自 2 名患者的 16 张图像和两个术前 3D 模型上进行了评估。所有团队均提出了基于深度学习的 2D 和 3D 标志分割方法，以及基于可微渲染的配准方法。基于实验结果，我们提出了三个关键假设，这些假设决定了该领域当前的研究局限性和未来方向。