用于图像到图像翻译的语义图注入式GAN训练
计算机视觉与模式识别
2021-12-06 v1 图像与视频处理
摘要
图像到图像翻译是利用生成对抗网络（GAN）将图像从一个域变换到另一个域的最新趋势。现有的GAN模型仅利用变换的输入和输出模态进行训练。本文中，我们执行GAN模型的语义注入式训练。具体而言，我们使用原始输入和输出模态进行训练，并注入若干个将输入翻译为语义图的训练轮次。我们将原始训练称为将输入图像翻译到目标域的训练。在原始训练中注入语义训练提升了训练后GAN模型的泛化能力。此外，它还能以更好的方式在生成图像中保留类别信息。语义图仅在训练时使用，测试时不需要。实验使用最先进的GAN模型在CityScapes和RGB-NIR立体数据集上进行。我们观察到，与原始训练相比，注入语义训练后SSIM、FID和KID指标均有提升。
引用
@article{arxiv.2112.01845,
title = {Semantic Map Injected GAN Training for Image-to-Image Translation},
author = {Balaram Singh Kshatriya and Shiv Ram Dubey and Himangshu Sarma and Kunal Chaudhary and Meva Ram Gurjar and Rahul Rai and Sunny Manchanda},
journal= {arXiv preprint arXiv:2112.01845},
year = {2021}
}
备注
Accepted in Fourth Workshop on Computer Vision Applications (WCVA) at ICVGIP 2021