FEAFA:一个用于面部表情分析与三维面部动画的精细标注数据集
机器学习
2023-01-31 v1 计算机视觉与模式识别
图形学
图像与视频处理
机器学习
摘要
基于机器学习的面部表情分析需要大量精细标注的数据以反映面部运动的不同变化。公开可用数据集通过提供基准资源确实有助于加速该领域的研究,但据我们所知,所有这些数据集都仅限于动作单元的粗略标注,仅包括其缺失、存在,或根据面部动作编码系统(FACS)的五级强度。为满足对极详细标注视频的需求,我们提出一个名为 FEAFA 的精细标注数据集,用于面部表情分析与三维面部动画。一百二十二名参与者,包括儿童、年轻人和老年人,在真实条件下被记录。此外,使用我们开发的表情量化工具手动标注了 99,356 帧,以量化 9 个对称 FACS 动作单元、10 个非对称(单侧)FACS 动作单元、2 个对称 FACS 动作描述符和 2 个非对称 FACS 动作描述符,且每个动作单元或动作描述符均以 0 到 1 之间的浮点数精细标注。为未来研究提供基线,给出了基于卷积神经网络(CNN)的动作单元值回归基准。我们还展示了 FEAFA 数据集在三维面部动画中的潜力。几乎所有最先进的面部动画算法都基于三维人脸重建实现。因此我们提出一种新方法,仅基于源演员二维视频帧的动作单元值回归来驱动虚拟角色。
引用
@article{arxiv.1904.01509,
title = {FEAFA: A Well-Annotated Dataset for Facial Expression Analysis and 3D Facial Animation},
author = {Yanfu Yan and Ke Lu and Jian Xue and Pengcheng Gao and Jiayi Lyu},
journal= {arXiv preprint arXiv:1904.01509},
year = {2023}
}
备注
9 pages, 7 figures