用于图像到图像翻译的谱归一化与双重对比正则化
计算机视觉与模式识别
2024-03-12 v3
摘要
现有的图像到图像(I2I)翻译方法通过将块级对比学习融入生成对抗网络(Generative Adversarial Networks, GAN)实现了最先进的性能。然而，块级对比学习仅关注局部内容相似性而忽略了全局结构约束，这影响了生成图像的质量。本文中，我们提出了一种基于双重对比正则化和谱归一化的新无配对I2I翻译框架，即SN-DCR。为保持全局结构与纹理的一致性，我们分别利用不同深度特征空间设计了双重对比正则化。为改进生成图像的全局结构信息，我们制定了语义对比损失，使生成图像在语义特征空间中的全局语义结构类似于来自目标域的真实图像。我们利用Gram矩阵从图像中提取纹理风格。类似地，我们设计了风格对比损失以改进生成图像的全局纹理信息。此外，为增强模型稳定性，我们在生成器设计中采用了谱归一化卷积网络。我们进行了全面实验来评估SN-DCR的有效性，结果证明我们的方法在多项任务中达到了SOTA。
引用
@article{arxiv.2304.11319,
title = {Spectral Normalization and Dual Contrastive Regularization for Image-to-Image Translation},
author = {Chen Zhao and Wei-Ling Cai and Zheng Yuan},
journal= {arXiv preprint arXiv:2304.11319},
year = {2024}
}
备注
Accepted by The Visual Computer (TVC)