基于对比学习和直方图方向梯度的增强式无监督图像-图像翻译
图像与视频处理
2024-09-27 v2 计算机视觉与模式识别
摘要
图像-图像翻译是计算机视觉中的一个关键领域，旨在保持图像核心内容和结构的前提下，将图像从一个视觉域转换到另一个视觉域。然而，该领域面临两个主要挑战：其一，两个域的数据常常是无配对的，这会导致生成对抗网络训练效果不佳；其二，现有方法倾向于在图像生成过程中产生杂散或幻觉现象，导致图像质量下降。为此，本文提出一种基于对比学习无监督图像-图像翻译方法，将直方图方向梯度(Histogram of Oriented Gradients, HOG)特征引入CUT模型。该新方法通过最小化输入图像与生成图像之间HOG特征的损失，确保即使在没有语义标签的情况下，也能保留图像的语义结构。该方法在将合成游戏环境从GTA5数据集翻译到cityscapes数据集中真实城市场景时进行测试，结果在减少幻觉现象和提升图像质量方面均取得显著改善。
引用
@article{arxiv.2409.16042,
title = {Enhanced Unsupervised Image-to-Image Translation Using Contrastive Learning and Histogram of Oriented Gradients},
author = {Wanchen Zhao},
journal= {arXiv preprint arXiv:2409.16042},
year = {2024}
}
备注
Critical Errors in Data or Analysis