利用领域特定仿真实现从语义标签图到图像的非配对翻译
计算机视觉与模式识别
2023-02-22 v1 机器学习
摘要
由仿真标签图生成逼真图像在若干场景下是必要的，例如用于虚拟现实中的医学训练。使用常规深度学习方法，该任务需要与时义标注配对的图像，而这类数据通常不可得。我们引入了一种对比学习框架，用于从仿真的标签图生成逼真图像，通过学习两者的非配对集合实现。由于真实图像与标签图之间可能存在较大的场景差异，现有的非配对图像翻译方法会在合成图像中导致场景修改的伪影。我们利用仿真图像作为对比损失的替代目标，同时通过利用反向翻译网络的特征来确保一致性。我们的方法支持双向的标签-图像翻译，并在包括腹腔镜、超声和驾驶场景在内的多种情景和数据集上得到展示。通过与最先进的非配对翻译方法比较，所提方法被证明能生成真实且场景准确的翻译结果。
引用
@article{arxiv.2302.10698,
title = {Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations},
author = {Lin Zhang and Tiziano Portenier and Orcun Goksel},
journal= {arXiv preprint arXiv:2302.10698},
year = {2023}
}