MAFW：一种用于真实场景下动态面部表情识别的大规模多模态复合情感数据库
计算机视觉与模式识别
2023-08-15 v2
摘要
动态面部表情识别（FER）数据库为情感计算及其应用提供了重要的数据支持。然而，大多数FER数据库仅标注若干基本且互斥的情感类别，且只包含单一模态，例如视频。单调的标注与模态无法准确模拟人类情感并满足现实世界中的应用需求。本文提出MAFW，一个包含10,045个真实场景视频-音频片段的大规模多模态复合情感数据库。每个片段均标注一个复合情感类别以及若干描述片段中受试者情感行为的句子。对于复合情感标注，每个片段被归类于11种广泛使用情感中的一种或多种，即愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶、轻蔑、焦虑、无助和失望。为保证标注质量，我们通过期望最大化（EM）算法滤除不可靠标注，进而得到11个单标签情感类别和32个多标签情感类别。据我们所知，MAFW是首个在真实场景中标注复合情感及情感相关描述文本的多模态数据库。此外，我们还提出一种基于Transformer的表情片段特征学习方法，利用不同情感与模态间的表情变化关系来识别复合情感。在MAFW数据库上的大量实验表明，所提方法在单模态与多模态FER上均优于其他最先进方法。我们的MAFW数据库已公开于 https://mafw-database.github.io/MAFW。
引用
@article{arxiv.2208.00847,
title = {MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild},
author = {Yuanyuan Liu and Wei Dai and Chuanxu Feng and Wenbin Wang and Guanghao Yin and Jiabei Zeng and Shiguang Shan},
journal= {arXiv preprint arXiv:2208.00847},
year = {2023}
}
备注
This paper has been accepted by ACM MM'22