使用深度卷积神经网络的生产级面部表情捕捉
计算机视觉与模式识别
2017-06-05 v2 图形学
摘要
我们提出了一种用于基于视频的面部表情捕捉的实时深度学习框架——即在给定单目视频的情况下对演员面部进行密集 3D 跟踪。我们的流程始于使用基于多视图立体跟踪与艺术家增强动画的高端制作级面部捕捉流程来精确捕捉对象。利用 5-10 分钟的捕捉素材，我们训练一个卷积神经网络，以从该对象的单目视频序列中产生高质量输出，包括自遮挡区域。由于该 3D 面部表情捕捉是全自动的，我们的系统能够大幅减少开发涉及逼真演员数字替身且每个角色可能包含数小时动画对话的现代叙事驱动视频游戏或电影所需的人工投入。我们将我们的结果与几种 state-of-the-art 单目实时面部捕捉技术进行了比较，并在眼睛与嘴唇等具有挑战性的区域展示了极具说服力的动画推断。
引用
@article{arxiv.1609.06536,
title = {Production-Level Facial Performance Capture Using Deep Convolutional Neural Networks},
author = {Samuli Laine and Tero Karras and Timo Aila and Antti Herva and Shunsuke Saito and Ronald Yu and Hao Li and Jaakko Lehtinen},
journal= {arXiv preprint arXiv:1609.06536},
year = {2017}
}
备注
Final SCA 2017 version