基于多裁剪对比学习与域一致性的无监督图像到图像翻译
计算机视觉与模式识别
2023-07-06 v3
摘要
近来，基于对比学习的无监督图像到图像翻译方法在许多任务中取得了最先进的结果。然而，在先前工作中，负样本是从输入图像自身采样的，这启发我们设计一种数据增强方法来提升所选负样本的质量。此外，先前方法仅通过嵌入空间中的块级对比学习保持内容一致性，忽略了生成图像与目标域真实图像之间的域一致性。本文提出一种基于多裁剪对比学习与域一致性的新型无监督图像到图像翻译框架，称为 MCDUT。具体而言，我们通过中心裁剪和随机裁剪获得多裁剪视图，以进一步生成高质量负样本。为约束深度特征空间中的嵌入，我们构建了一种新的域一致性损失，鼓励生成图像在同一域的嵌入空间中接近真实图像。此外，我们提出一种双坐标注意力网络，通过将位置信息嵌入通道中，称为 DCA。我们在生成器设计中采用 DCA 网络，使生成器捕获依赖关系的水平和垂直全局信息。在许多图像到图像翻译任务中，我们的方法取得了最先进的结果，并且通过大量对比实验和消融研究证明了我们方法的优势。
引用
@article{arxiv.2304.12235,
title = {Multi-cropping Contrastive Learning and Domain Consistency for Unsupervised Image-to-Image Translation},
author = {Chen Zhao and Wei-Ling Cai and Zheng Yuan and Cheng-Wei Hu},
journal= {arXiv preprint arXiv:2304.12235},
year = {2023}
}