在图像到图像翻译任务中探索块级语义关系以进行对比学习
计算机视觉与模式识别
2022-03-04 v1
摘要
近来，基于对比学习的图像翻译方法被提出，其通过对比不同空间位置来增强空间对应。然而，这些方法往往忽略图像内部多样的语义关系。为此，我们提出一种新颖的语义关系一致性(semantic relation consistency, SRC)正则化方法，结合解耦对比学习，利用单一图像中各图像块之间的异质语义来运用多样语义。为进一步提升性能，我们提出一种利用语义关系的难负样本挖掘。我们在三项任务上验证了方法：单模态与多模态图像翻译，以及面向图像翻译的GAN压缩任务。实验结果证实了我们的方法在所有三项任务中均达到最先进性能。
引用
@article{arxiv.2203.01532,
title = {Exploring Patch-wise Semantic Relation for Contrastive Learning in Image-to-Image Translation Tasks},
author = {Chanyong Jung and Gihyun Kwon and Jong Chul Ye},
journal= {arXiv preprint arXiv:2203.01532},
year = {2022}
}
备注
CVPR 2022