从单张显微图像生成乳突切除术后的表面多视图合成

人工耳蜗植入（CI）手术需要进行侵入性乳突切除术，以将电极阵列插入耳蜗。在本文中，我们介绍了一种新颖的流水线，能够从单张 CI 显微镜图像生成合成的多视图视频。在我们的方法中，我们使用患者的术前 CT 扫描，通过一种为此设计的方法来预测乳突切除术后表面。我们手动将该表面与选定的显微镜帧对齐，以获得重建的 CT 网格相对于显微镜的准确初始姿态。然后，我们执行 UV 投影，将颜色从帧转移到表面纹理。带有纹理表面的新视图可用于生成具有真实姿态的大型合成帧数据集。我们评估了使用 Pytorch3D 和 PyVista 渲染的合成视图的质量。我们发现，与真实视图相比，两种渲染引擎都能生成质量相似且较高的合成新视图帧，两种方法的结构相似性指数平均约为 0.86。具有已知姿态的大型新视图数据集对于持续训练一种自动估计显微镜姿态的方法至关重要，该方法用于与术前 CT 进行 2D 到 3D 配准，以促进增强现实手术。该数据集将赋能各种下游任务，例如在手术室中集成增强现实（AR）、跟踪手术工具以及支持其他视频分析研究。