基于学习的表情迁移驱动面-头-颈生物力学复合体的神经肌肉控制：来自图像与视频
图形学
2021-11-15 v1 计算机视觉与模式识别
摘要
将人脸表情从真人迁移到 3D 人脸模型是一个经典的计算机图形学问题。本文提出一种新颖的、基于学习的方法，将图像和视频中的面部表情与头部运动迁移到面-头-颈复合体的生物力学模型上。利用面部动作编码系统（FACS）作为表情空间的中间表示，我们训练了一个深度神经网络，输入 FACS 动作单元（AUs），输出适合肌骨模型的面部肌肉与下颌激活信号。通过生物力学仿真，这些激活使面部软组织变形，从而将表情迁移到模型上。我们的方法相较先前方法具有优势。首先，由于我们的生物力学模型模拟了面、头、颈的相关解剖结构，面部表情在解剖上是一致的。其次，通过使用生物力学模型自身生成的数据训练神经网络，我们消除了表情迁移中数据收集的手动工作。我们通过将一系列面部图像和视频中的表情与头部姿态迁移到我们的面-头-颈模型上的实验，证明了方法的成功。
引用
@article{arxiv.2111.06517,
title = {Neuromuscular Control of the Face-Head-Neck Biomechanical Complex With Learning-Based Expression Transfer From Images and Videos},
author = {Xiao S. Zeng and Surya Dwarakanath and Wuyue Lu and Masaki Nakada and Demetri Terzopoulos},
journal= {arXiv preprint arXiv:2111.06517},
year = {2021}
}
备注
12 pages, 7 figures, 2 tables