5分钟内的Sim2Real：基于风格化高斯泼溅的高效内窥镜图像域迁移

机器人辅助腔内介入是治疗良性和恶性腔道病变的新兴技术。基于视觉的导航，结合术前影像数据作为先验，可以在无需额外传感器的情况下恢复内窥镜的位置和姿态。然而，在实践中，由于显著的纹理差异，对齐术前和术中的域变得复杂。尽管诸如风格迁移之类的方法可用于解决此问题，但它们需要来自源域和目标域的大型数据集，且训练时间长。本文提出了一种基于风格化高斯泼溅的高效域迁移方法，仅需少量真实图像（10张）且训练时间极短。具体来说，迁移过程包括两个阶段。在第一阶段，从CT扫描重建的3D模型被表示为可微高斯点云。在第二阶段，仅优化与颜色外观相关的参数，以迁移风格并保留视觉内容。一种新颖的结构一致性损失被应用于潜在特征和深度级别，以增强迁移图像的稳定性。我们进行了详细的验证，证明了所提方法相比当前最先进方法的性能优势，突出了其在术中手术导航中的应用潜力。