基于人脸图像序列的因果情感预测模型
计算机视觉与模式识别
2021-07-09 v1 人机交互
摘要
在人类情感行为研究中，随着深度学习的发展，面部表情识别研究性能不断提升。然而，为提升性能，不仅应使用过往图像，还应结合对应面部图像使用未来图像，但这在应用于实时环境时存在障碍。本文提出因果情感预测网络（CAPNet），其仅使用过去面部图像来预测对应的情感效价（valence）与唤醒度（arousal）。我们通过监督学习训练 CAPNet 学习过去图像与对应情感效价和唤醒度之间的因果推断，具体使用 Aff-Wild2 数据集将过去图像序列与当前标签配对。实验表明，训练良好的 CAPNet 仅用早约三分之一秒的过去面部图像预测情感效价和唤醒度，便优于 Affective Behavior Analysis in-the-wild（ABAW2）竞赛第二赛道基线。因此，在实时应用中，CAPNet 可仅依靠过去数据可靠预测情感效价和唤醒度。
引用
@article{arxiv.2107.03886,
title = {Causal affect prediction model using a facial image sequence},
author = {Geesung Oh and Euiseok Jeong and Sejoon Lim},
journal= {arXiv preprint arXiv:2107.03886},
year = {2021}
}