MeshBrush：基于神经风格化在内窥镜中绘制解剖网格

风格迁移是缩小医学内窥镜中 sim-to-real 差距的一种有前景的方法。通过遍历术前扫描（如 MRI 或 CT）来渲染合成内窥镜视频，可以生成结构准确的模拟以及真值相机位姿和深度图。尽管诸如 CycleGAN 之类的图像到图像 (I2I) 转换模型可以从这些模拟中模仿逼真的内窥镜图像，但由于缺乏时间一致性，它们不适用于视频到视频的合成，从而在帧之间产生伪影。我们提出了 MeshBrush，一种神经网格风格化方法，通过可微渲染合成时间一致的视频。MeshBrush 利用患者成像数据的底层几何结构，同时利用现有的 I2I 方法。通过学习到的逐顶点纹理，风格化网格在产生高保真输出的同时保证了一致性。我们证明了网格风格化是一种有前景的方法，可用于为训练网络和术前规划等下游任务创建逼真的模拟。尽管我们的方法是在输尿管镜检查中测试和设计的，但其组件可转移到一般的内窥镜和腹腔镜手术中。代码将在 GitHub 上公开。