MultiStyleGAN:使用单一GAN的多次单样本图像风格化
计算机视觉与模式识别
2023-04-24 v2
摘要
图像风格化旨在将参考风格应用于任意输入图像。一种常见场景是单样本风格化,即每种参考风格仅有一个样本可用。近期的单样本风格化方法(如JoJoGAN)在单张风格参考图像上微调预训练的StyleGAN2生成器。然而,此类方法无法在不针对每种风格分别微调新模型的情况下生成多种风格化结果。本工作中,我们提出一种MultiStyleGAN方法,能够通过微调单一生成器一次性生成多种不同的风格化结果。我们方法的关键组件是一个称为风格变换网络的可学习变换模块。它以潜码为输入,学习到潜空间不同区域的线性映射,为每种风格生成不同的编码,从而形成多风格空间。我们的模型因在多种风格上训练而固有地缓解了过拟合,从而提升了风格化质量。我们的方法可一次性学习超过种图像风格化,相比近期竞争方法在训练时间上带来至的提升。我们通过用户研究和定量结果支撑我们的结论,表明相较现有方法有显著改进。
引用
@article{arxiv.2210.04120,
title = {MultiStyleGAN: Multiple One-shot Image Stylizations using a Single GAN},
author = {Viraj Shah and Ayush Sarkar and Sudharsan Krishnakumar Anitha and Svetlana Lazebnik},
journal= {arXiv preprint arXiv:2210.04120},
year = {2023}
}
备注
Project webpage available at https://virajshah.com/multistyle