CariMe: 具有多种夸张变形的非配对漫画生成
计算机视觉与模式识别
2020-10-02 v1 机器学习
多媒体
摘要
漫画生成旨在将真实照片转换为具有艺术风格和形状夸张的漫画,同时保持主体身份。与通用的图像到图像翻译不同,自动绘制漫画是一项更具挑战性的任务,因为存在各种空间形变。以往的漫画生成方法执着于从给定照片预测确定的图像扭曲,而忽略了漫画中夸张变形的内在表示与分布。这限制了它们在多样化夸张生成上的能力。在本文中,我们将漫画生成问题从实例级扭曲预测推广到分布级形变建模。基于该假设,我们提出了首个针对具有多种夸张变形的非配对漫画生成(CariMe)的探索。在技术层面,我们提出一个多夸张变形器网络来学习从照片到面部夸张的分布级映射。这使得从给定一张输入照片随机采样的扭曲码生成多样且合理的夸张成为可能。为了更好地表示面部夸张并生成细粒度扭曲,我们还提出了一种基于形变场扭曲的方法,这有助于我们比其他基于点的扭曲方法捕捉更细致的夸张。实验与两项感知研究证明了我们的方法相对于其他最先进方法的优越性,显示了我们在漫画生成上的改进。
引用
@article{arxiv.2010.00246,
title = {CariMe: Unpaired Caricature Generation with Multiple Exaggerations},
author = {Zheng Gu and Chuanqi Dong and Jing Huo and Wenbin Li and Yang Gao},
journal= {arXiv preprint arXiv:2010.00246},
year = {2020}
}