CariGAN：基于弱配对对抗学习的漫画生成
计算机视觉与模式识别
2018-11-22 v2
摘要
漫画生成是一项有趣而富有挑战性的任务。主要目标是给定人脸图像生成具有合理夸张的逼真漫画。传统的漫画生成方法主要使用图像扭曲等低级几何变换来生成夸张图像，在内容和风格上缺乏丰富性和多样性。生成对抗网络（GANs）的最新进展使得从数据中学习图像到图像的变换成为可能，从而可以生成更丰富的内容和风格。然而，直接将基于 GAN 的模型应用于此任务会导致不令人满意的结果，因为漫画分布存在较大方差。此外，一些模型需要严格配对的训练数据，这极大限制了其使用场景。在本文中，我们提出 CariGAN 来克服这些问题。CariGAN 不从配对数据训练，而仅从弱配对图像学习变换。具体而言，为了强制合理的夸张和面部变形，采用面部关键点作为附加条件来约束生成的图像。此外，引入注意力机制以鼓励模型关注关键面部区域，从而可以在这些区域生成更生动的细节。最后，提出多样性损失（Diversity Loss）以鼓励模型产生多样化结果，帮助缓解传统基于 GAN 的模型的“模式崩溃”问题。在新型大规模“WebCaricature”数据集上的大量实验表明，与最先进模型相比，所提出的 CariGAN 能生成更逼真且多样性更大的漫画。
引用
@article{arxiv.1811.00445,
title = {CariGAN: Caricature Generation through Weakly Paired Adversarial Learning},
author = {Wenbin Li and Wei Xiong and Haofu Liao and Jing Huo and Yang Gao and Jiebo Luo},
journal= {arXiv preprint arXiv:1811.00445},
year = {2018}
}
备注
12