基于预训练 StyleGAN2 网络的无监督图像到图像翻译
计算机视觉与模式识别
2020-10-28 v2
摘要
图像到图像（I2I）翻译是学术界的热点话题，也已在真实工业中应用于图像合成、超分辨率和着色等任务。然而，传统 I2I 翻译方法将两个以上域的数据一起训练，这需要大量计算资源。此外，结果质量较低且包含更多伪影。当不同域中数据不平衡时训练过程可能不稳定，且更可能发生模态崩溃。我们提出一种新的 I2I 翻译方法，通过对源域上预训练的 StyleGAN2 模型进行一系列模型变换，在目标域生成新模型。此后，我们提出一种反演方法以实现图像与其潜向量之间的转换。将潜向量输入生成的模型，我们可在源域与目标域之间执行 I2I 翻译。定性与定量评估均表明，与最先进工作相比，所提方法在图像质量、多样性以及与输入和参考图像的语义相似性方面均取得优异性能。
引用
@article{arxiv.2010.05713,
title = {Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network},
author = {Jialu Huang and Jing Liao and Sam Kwong},
journal= {arXiv preprint arXiv:2010.05713},
year = {2020}
}
备注
2020 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works