用于非配对图像到图像翻译的对比学习

在图像到图像翻译中，输出中的每个图像块应反映输入中对应图像块的内容，且与域无关。我们提出一种直接的实现方法——基于对比学习框架最大化两者的互信息。该方法鼓励两个元素（对应图像块）映射到所学特征空间中的相近点，相对于数据集中其他元素（其他图像块，称为负样本）。我们探究了若干使对比学习在图像合成设定中生效的关键设计选择。值得注意的是，我们采用基于多层、图像块的方法，而非在整幅图像上操作。此外，我们从输入图像自身内部抽取负样本，而非从数据集其余部分抽取。我们证明我们的框架在非配对图像到图像翻译设定中支持单向翻译，同时提升质量并缩短训练时间。另外，我们的方法甚至可扩展至每个“域”仅为单幅图像的训练设定。