基于 Transformer 的多模态特征提取与融合用于视频中情绪反应强度估计与表情分类
计算机视觉与模式识别
2023-04-17 v2
摘要
本文提出了针对 2023 年野外情感行为分析（ABAW）两项子挑战的先进方案：情绪反应强度（ERI）估计挑战与表情（Expr）分类挑战。ABAW 2023 旨在应对自然语境下情感行为分析的挑战，最终目标是创造能够理解人类情绪、感受与行为的智能机器与机器人。针对表情分类挑战，我们提出了一种有效应对分类难题的精简方法。然而，我们的主要贡献在于使用多种模型与工具从 Hume-Reaction 数据集中提取音频与视频线索等多模态特征。通过研究、分析并组合这些特征，我们显著提升了模型在多模态情境下的情感预测准确率。此外，我们的方法在情绪反应强度（ERI）估计挑战上取得了优异结果，在验证集上以皮尔逊系数衡量，相较基线方法提升了令人瞩目的 84%。
引用
@article{arxiv.2303.09164,
title = {Multimodal Feature Extraction and Fusion for Emotional Reaction Intensity Estimation and Expression Classification in Videos with Transformers},
author = {Jia Li and Yin Chen and Xuesong Zhang and Jiantao Nie and Ziqiang Li and Yangchen Yu and Yan Zhang and Richang Hong and Meng Wang},
journal= {arXiv preprint arXiv:2303.09164},
year = {2023}
}
备注
Solutions of HFUT-CVers Team at the 5th ABAW Competition (CVPR 2023 workshop)