探索无配对图像翻译中的语义一致性以生成外科手术应用数据

在外科计算机视觉应用中，由于数据隐私问题和专家标注需求，获取带标签的训练数据具有挑战性。人们已探索无配对图像到图像翻译技术，通过将合成图像翻译到真实域来自动生成大规模标注数据集。然而，在输入图像与翻译图像之间保持结构和语义一致性存在显著挑战，尤其是在各域语义特征存在分布失配时。本研究实证考察了用于外科应用中生成合适数据的无配对图像翻译方法，明确聚焦于语义一致性。我们在两个具有挑战性的外科数据集及下游语义分割任务上广泛评估了多种最先进的图像翻译模型。我们发现，结构相似性损失与对比学习的简单组合产生了最有前景的结果。在定量上，我们表明用该方法生成的数据具有更高的语义一致性，并且可更有效地用作训练数据。代码见 https://gitlab.com/nct_tso_public/constructs。