用于非配对图像到图像翻译中对比学习的逐实例硬负样本生成
计算机视觉与模式识别
2021-08-12 v2
摘要
对比学习在非配对图像到图像翻译中展现出巨大潜力，但有时翻译结果质量较差且内容未能保持一致。本文中，我们发现负样本在图像翻译的对比学习性能中起着关键作用。以往方法中的负样本是从源图像中不同位置的图像块随机采样得到的，这对于将正样本拉近至查询样本效果不佳。为解决此问题，我们提出了用于非配对图像到图像翻译中对比学习的逐实例硬负样本生成（NEGCUT）。具体而言，我们训练一个生成器在线生成负样本。该生成器在两个方面具有新颖性：1）它是逐实例的，意味着生成的样本基于输入图像；2）由于使用对抗损失进行训练，它能够生成硬负样本。借助该生成器，非配对图像到图像翻译的性能得到显著提升。在三个基准数据集上的实验表明，与以往方法相比，所提出的 NEGCUT 框架实现了 SOTA 性能。
关键词
引用
@article{arxiv.2108.04547,
title = {Instance-wise Hard Negative Example Generation for Contrastive Learning in Unpaired Image-to-Image Translation},
author = {Weilun Wang and Wengang Zhou and Jianmin Bao and Dong Chen and Houqiang Li},
journal= {arXiv preprint arXiv:2108.04547},
year = {2021}
}
备注
Accepted by ICCV 2021