面向无监督图像到图像翻译的对比学习
计算机视觉与模式识别
2021-05-10 v1
摘要
图像到图像翻译旨在学习不同组视觉可区分图像之间的映射。尽管近期方法已展现出改变图像甚至复杂外观的惊人能力，它们仍依赖领域标签来训练模型以区分不同的视觉特征。这种对标签的依赖往往因一致且高质量的标签成本高昂而严重限制应用范围。相反，我们希望从图像自身捕获视觉特征，并将其应用于无需人工生成标签的真实感翻译。为此，我们提出一种基于对比学习的无监督图像到图像翻译方法。其核心思想是学习一个区分不同风格的判别器，并让该判别器监督生成器将这些风格跨图像迁移。训练时，我们随机采样一对图像，训练生成器在保持原始结构的同时将其中一张的外观向另一张改变。实验结果表明，我们的方法在视觉质量和翻译精度上优于领先的无监督基线。
引用
@article{arxiv.2105.03117,
title = {Contrastive Learning for Unsupervised Image-to-Image Translation},
author = {Hanbit Lee and Jinseok Seol and Sang-goo Lee},
journal= {arXiv preprint arXiv:2105.03117},
year = {2021}
}