StyleCariGAN:通过 StyleGAN 特征图调制生成漫画
计算机视觉与模式识别
2021-07-12 v1 图形学
摘要
我们提出一种基于形状与风格操控、使用 StyleGAN 的漫画生成框架。我们的框架称为 StyleCariGAN,可从输入照片自动生成逼真且细致的漫画,并可选控制形状夸张程度与色彩风格化类型。我们方法的关键组件是用于调制 StyleGAN 粗层特征图以产生理想漫画形状夸张的形状夸张块。我们首先通过将以照片为对象的 StyleGAN 的细层替换为训练用于生成漫画的 StyleGAN 的对应层,构建层混合 StyleGAN,实现照片到漫画的风格转换。给定输入照片,该层混合模型可生成细致的漫画色彩风格化,但无形状夸张。我们随后将形状夸张块附加到层混合模型的粗层,并训练这些块以在保留输入特征外观的同时创建形状夸张。实验结果表明,相较于当前最先进方法,我们的 StyleCariGAN 生成了逼真且细致的漫画。我们展示了 StyleCariGAN 还支持其他基于 StyleGAN 的图像操控,如面部表情控制。
引用
@article{arxiv.2107.04331,
title = {StyleCariGAN: Caricature Generation via StyleGAN Feature Map Modulation},
author = {Wonjong Jang and Gwangjin Ju and Yucheol Jung and Jiaolong Yang and Xin Tong and Seungyong Lee},
journal= {arXiv preprint arXiv:2107.04331},
year = {2021}
}
备注
Accepted to SIGGRAPH 2021. For supplementary material, see http://cg.postech.ac.kr/papers/2021_StyleCariGAN_supp.zip