具有语义一致性的范例引导无监督图像到图像翻译

由于深度学习的进步，图像到图像翻译最近受到了广泛关注。大多数工作侧重于以无监督方式学习一对一映射，或以有监督方式学习多对多映射。然而，更实际的设定是无监督方式的多对多映射，由于缺乏监督以及域内和跨域的复杂变化，这更加困难。为了缓解这些问题，我们提出了范例引导且语义一致的图像到图像翻译（EGSC-IT）网络，该网络以目标域中的范例图像为翻译过程的条件。我们假设图像由跨域共享的内容分量和特定于每个域的风格分量组成。在目标域范例的引导下，我们对共享内容分量应用自适应实例归一化（Adaptive Instance Normalization），这使我们能够将目标域的风格信息转移到源域。为了避免在翻译过程中由于较大的域内和跨域变化而自然出现的语义不一致，我们引入了特征掩码的概念，它提供粗略的语义引导，而无需使用任何语义标签。在各种数据集上的实验结果表明，EGSC-IT 不仅将源图像翻译为目标域中的多样实例，而且在此过程中保持了语义一致性。