用于手术训练中立体超写实的交叉域条件生成对抗网络

用于手术训练的体模能够模拟切割与缝合特性以及器官的患者个体形状，但缺乏捕捉手术场景异质性的真实视觉外观。为了在内镜方法中克服这一点，已提出在增强现实设置中使用超写实概念，其基于深度图像到图像转换方法。此类概念能够从真实术中内镜序列中学习体模的逼真表示。以手术训练过程中的帧为条件，所学模型能够通过转换图像中不真实的部分（例如，将均匀体模纹理替换为更具异质性的组织纹理）来生成令人印象深刻的结果。图像到图像合成通常学习映射 $G:X~\to~Y$，使得来自 $G(X)$ 的图像分布与分布 $Y$ 不可区分。然而，它不一定强制生成图像具有一致性且无伪影。在内镜图像域中，这会影响立体图像对的深度线索与立体一致性，最终损害手术视觉。我们提出一种交叉域条件生成对抗网络方法（GAN），旨在生成更一致的立体对。结果表明，在 3D 监视器上由 3 名领域专家与 3 名医学生评估，本方法在深度感知与真实感上较基线方法有明显改善。在 90 个实例中的 84 个，我们提出的方法被偏好或与基线评级相等。