基于受试者内标准化数据的野外多模态情感分析
计算机视觉与模式识别
2021-07-13 v3
摘要
人类情感识别是人机交互中的重要因素。然而，使用野外（in-the-wild）数据的方法开发尚不够准确以用于实际用途。本文介绍了提交至 Affective Behavior Analysis in-the-wild (ABAW) 2021 竞赛的聚焦于面部表情（EXP）与效价-唤醒计算的情感识别方法。在从视频标注面部表情时，我们认为其不仅依据所有人共有的特征，也依据个体时间序列中的相对变化来判定。因此，在每帧学习共同特征后，我们结合共同特征与每个视频的标准化特征，利用时间序列数据构建了面部表情估计模型与效价-唤醒模型。此外，上述特征使用图像特征、AU、头部姿态与凝视等多模态数据进行学习。在验证集上，我们的模型取得了 0.546 的面部表情分数。这些验证结果表明，我们提出的框架能有效提升估计精度与鲁棒性。
引用
@article{arxiv.2107.03009,
title = {Multi-modal Affect Analysis using standardized data within subjects in the Wild},
author = {Sachihiro Youoku and Takahisa Yamamoto and Junya Saito and Akiyoshi Uchida and Xiaoyu Mi and Ziqiang Shi and Liu Liu and Zhongling Liu and Osafumi Nakayama and Kentaro Murase},
journal= {arXiv preprint arXiv:2107.03009},
year = {2021}
}
备注
6 pages, 5 figures