通过三维 blendshape 与动态纹理建模漫画表情
计算机视觉与模式识别
2020-08-14 v1
摘要
根据给定的正常人脸表情对艺术家绘制的漫画进行形变，在社交媒体、动画和娱乐等应用中颇受关注。本文针对该问题提出一种解决方案，重点增强生成所需表情的能力，同时保留漫画的身份夸张风格，由于漫画的复杂性，这带来了挑战。我们解决方案的关键是一种建模漫画表情的新方法，其将传统3DMM表示扩展到漫画领域。该方法由漫画的形状建模与纹理生成组成。我们开发了几何优化以创建保持身份的blendshape，用于重建准确且稳定的几何形状，并设计了一个条件生成对抗网络(cGAN)用于在目标表情下生成动态纹理。形状与纹理组件的结合使得漫画的非平凡表情能通过流行的3DMM表示的扩展得到有效定义，从而漫画可灵活形变为任意表情，并在形状和颜色空间上均取得良好的视觉效果。实验证明了所提方法的有效性。
引用
@article{arxiv.2008.05714,
title = {Modeling Caricature Expressions by 3D Blendshape and Dynamic Texture},
author = {Keyu Chen and Jianmin Zheng and Jianfei Cai and Juyong Zhang},
journal= {arXiv preprint arXiv:2008.05714},
year = {2020}
}
备注
Accepted by the 28th ACM International Conference on Multimedia (ACM MM 2020)