EMOCA：情感驱动的单目人脸捕捉与动画
计算机视觉与模式识别
2022-04-26 v1
摘要
随着 3D 人脸化身在交流中日益广泛使用,忠实传达情感至关重要。遗憾的是,近期从单目图像回归参数化 3D 人脸模型的最佳方法无法捕捉完整的面部表情谱,例如细微或极端的情绪。我们发现用于训练的标准重建度量（ landmark 重投影误差、光度误差和人脸识别损失）不足以捕捉高保真表情。其结果是面部几何与输入图像的情感内容不匹配。我们通过 EMOCA（EMOtion Capture and Animation,情感捕捉与动画）解决此问题,在训练时引入一种新颖的深度感知情感一致性损失,有助于确保重建的 3D 表情与输入图像所描绘的表情一致。虽然 EMOCA 取得的 3D 重建误差与当前最佳方法相当,但其在重建表情质量和感知情感内容方面显著优于它们。我们还直接从估计的 3D 人脸参数回归效价与唤醒度水平并分类基本表情。在野外情感识别任务上,我们纯几何的方法与最佳基于图像的方法相当,凸显了 3D 几何在分析人类行为中的价值。模型和代码公开于 https://emoca.is.tue.mpg.de。
引用
@article{arxiv.2204.11312,
title = {EMOCA: Emotion Driven Monocular Face Capture and Animation},
author = {Radek Danecek and Michael J. Black and Timo Bolkart},
journal= {arXiv preprint arXiv:2204.11312},
year = {2022}
}
备注
Conference on Computer Vision and Pattern Recognition (CVPR) 2022