基于人脸先验的一阶运动模型用于微表情生成
计算机视觉与模式识别
2023-08-10 v1
摘要
从视频中识别面部微表情在临床诊断和审讯等领域有各种潜在应用,同时由于训练数据规模有限,该任务仍然困难。为解决此问题,本文尝试提出一项称为微表情生成的新任务,并给出一个将一阶运动模型与面部先验知识相结合的强基线。给定目标人脸,我们旨在根据源视频的运动模式驱动该人脸生成微表情视频。具体而言,我们的新模型包含三个模块。首先,我们从区域聚焦模块中提取面部先验特征。其次,我们利用关键点与局部仿射变换通过运动预测模块估计面部运动。第三,使用表情生成模块驱动目标人脸生成视频。我们在公开 CASME II、SAMM 和 SMIC 数据集上训练模型,然后使用该模型生成新的微表情视频用于评估。我们的模型在 2021 面部微表情挑战赛(FEGC2021)中获得第一名,其优越性能由三名具有面部动作编码系统认证的专家验证。源代码见 https://github.com/Necolizer/Facial-Prior-Based-FOMM。
引用
@article{arxiv.2308.04536,
title = {Facial Prior Based First Order Motion Model for Micro-expression Generation},
author = {Yi Zhang and Youjun Zhao and Yuhang Wen and Zixuan Tang and Xinhua Xu and Mengyuan Liu},
journal= {arXiv preprint arXiv:2308.04536},
year = {2023}
}
备注
ACM Multimedia 2021