通过学习人脸关键点轨迹生成多种 4D 表情过渡
计算机视觉与模式识别
2023-05-19 v2
摘要
本文中，我们解决 4D 面部表情生成问题。该问题通常通过对中性 3D 人脸进行动画处理使其达到表情峰值，然后回到中性状态来应对。然而在现实世界中，人们表现出更复杂的表情，并在一种表情与另一种表情之间切换。因此我们提出一种新模型，可生成不同表情之间的过渡，并合成长时段且复合的 4D 表情。这涉及三个子问题：（i）对表情的时间动态建模，（ii）学习它们之间的过渡，以及（iii）对通用网格进行变形。我们提出使用一组 3D 关键点的运动来编码表情的时间演化，并通过训练一个流形值 GAN（Motion3DGAN）来学习生成该运动。为允许生成复合表情，该模型接受两个标签，分别编码起始表情与结束表情。最终的网格序列由一个 Sparse2Dense 网格解码器（S2D-Dec）生成，该解码器将关键点位移映射到已知网格拓扑的稠密逐顶点位移。通过显式地处理运动轨迹，模型完全独立于身份。在五个公开数据集上的大量实验表明，我们提出的方法相对于先前方案带来了显著改进，同时对未见过的数据保持了良好的泛化能力。
引用
@article{arxiv.2208.00050,
title = {Generating Multiple 4D Expression Transitions by Learning Face Landmark Trajectories},
author = {Naima Otberdout and Claudio Ferrari and Mohamed Daoudi and Stefano Berretti and Alberto Del Bimbo},
journal= {arXiv preprint arXiv:2208.00050},
year = {2023}
}
备注
This preprint is an extension of CVPR 2022 paper arXiv:2105.07463