用于引导式图像生成的边缘对比对应
计算机视觉与模式识别
2022-04-04 v1 图像与视频处理
摘要
基于范例的图像翻译在两域间的条件输入与范例之间建立稠密对应，以利用细致的范例风格实现逼真的图像翻译。现有工作通过最小化两域间特征距离来隐式构建跨域对应。由于缺乏对边不变特征的显式利用，该方法可能无法有效缩小域差距，常导致次优对应与图像翻译。我们设计了一种边缘对比学习网络（MCL-Net），探索利用对比学习来学习域不变特征，以实现逼真的基于范例的图像翻译。具体而言，我们设计了一种创新的边缘对比损失，以显式引导建立稠密对应。然而，仅依靠域不变语义建立对应可能损害纹理图案并导致纹理生成退化。因此我们设计了一种自相关图（SCM），将场景结构作为辅助信息融入，显著改善了所建立的对应。在多种图像翻译任务上的定量与定性实验表明，所提方法一致优于当前最优（SOTA）方法。
引用
@article{arxiv.2204.00442,
title = {Marginal Contrastive Correspondence for Guided Image Generation},
author = {Fangneng Zhan and Yingchen Yu and Rongliang Wu and Jiahui Zhang and Shijian Lu and Changgong Zhang},
journal= {arXiv preprint arXiv:2204.00442},
year = {2022}
}
备注
Accepted to CVPR 2022 (Oral Presentation)