用于无监督图像到图像翻译的对偶对比学习
计算机视觉与模式识别
2021-04-19 v1 图像与视频处理
摘要
无监督图像到图像翻译任务旨在从未配对训练数据中找到源域X与目标域Y之间的映射。用于无配对图像到图像翻译的对比学习（CUT）通过仅用单一编码器为两域最大化输入与输出块之间的互信息，在无监督图像到图像翻译建模中取得了最先进结果。本文提出一种基于对比学习与对偶学习设定（利用两个编码器）的新方法，以推断未配对数据间的高效映射。此外，CUT存在模式坍缩问题，而我们方法的一个变体有效解决了该问题。我们通过广泛的消融研究进一步展示了方法的优势，在多个具有挑战性的图像翻译任务中表现优于近期方法。最后，我们表明无监督方法与有监督方法之间的差距可被有效缩小。
引用
@article{arxiv.2104.07689,
title = {Dual Contrastive Learning for Unsupervised Image-to-Image Translation},
author = {Junlin Han and Mehrdad Shoeiby and Lars Petersson and Mohammad Ali Armin},
journal= {arXiv preprint arXiv:2104.07689},
year = {2021}
}
备注
Accepted to NTIRE, CVPRW 2021. Code is available at https://github.com/JunlinHan/DCLGAN