用于通用图像合成的调制对比
计算机视觉与模式识别
2022-03-18 v1
摘要
感知图像间相似性一直是各类视觉生成任务的基础性问题。主流方法通过计算逐点绝对偏差来度量图像间距离，往往估计实例分布的中位数，导致生成图像中出现模糊与伪影。本文提出MoNCE，一种引入图像对比以学习校准度量来感知多方面图像间距离的通用度量。与朴素对比不问相似度地将负样本一律推离锚点不同，我们提出根据负样本与锚点的相似度自适应地重新加权其推离力，从而促进来自信息量负样本的对比学习。由于图像距离度量涉及多个块级对比目标，我们在MoNCE中引入最优传输，以跨多个对比目标协同调制负样本的推离力。在多个图像翻译任务上的大量实验表明，所提MoNCE大幅优于多种流行度量。代码见 https://github.com/fnzhan/MoNCE。
引用
@article{arxiv.2203.09333,
title = {Modulated Contrast for Versatile Image Synthesis},
author = {Fangneng Zhan and Jiahui Zhang and Yingchen Yu and Rongliang Wu and Shijian Lu},
journal= {arXiv preprint arXiv:2203.09333},
year = {2022}
}
备注
Accepted to CVPR 2022