用于艺术肖像到照片级真实可视化翻译的语义感知掩码 CycleGAN
计算机视觉与模式识别
2023-06-13 v1
摘要
图像到图像翻译（I2I）被定义为一种计算机视觉任务，其目标是将源域中的图像转换到目标域，同时最小化内容表示的丢失或改变。自 I2I 提出以来，随着多种革命性生成模型的发明，已取得重大进展。其中，基于 GAN 的模型表现尤为出色，因为它们大多针对特定域或任务量身定制。然而，少有工作提出针对艺术域的定制方法。在本项目中，我提出语义感知掩码 CycleGAN（SMCycleGAN）架构，可将艺术肖像翻译为照片级真实的可视化结果。该模型通过向判别器输入语义掩码的假样本来生成真实人脸肖像，从而迫使判别器基于局部信息做出判别决策，使生成器可被优化以合成更真实的人脸肖像，而非增加背景等其他无关组件的相似性。实验表明，SMCycleGAN 生成的图像真实感显著增强，且内容表示丢失最小。
引用
@article{arxiv.2306.06577,
title = {Semantically-aware Mask CycleGAN for Translating Artistic Portraits to Photo-realistic Visualizations},
author = {Zhuohao Yin},
journal= {arXiv preprint arXiv:2306.06577},
year = {2023}
}