用于情绪分析的兼具摆拍与真实面部动作的基于EEG的多模态情绪数据库
计算机视觉与模式识别
2022-03-31 v1
摘要
情绪是一种与特定生理活动模式以及不同生理、行为和认知变化相关的体验。一种行为变化是面部表情，过去几十年已被广泛研究。面部行为随个人情绪因文化、个性、年龄、情境和环境差异而变化。近年来，生理活动已被用于研究情绪反应。一个典型信号是测量大脑活动的脑电图（EEG）。现有大多数基于EEG的情绪分析忽视了面部表情变化的作用。由于缺少同时测量EEG和面部动作信号的数据集，关于面部行为与脑信号关系的研究很少。为解决此问题，我们提出通过同时收集面部表情、动作单元和EEG来开发新数据库。我们记录了29名不同年龄、性别、种族背景参与者的摆拍面部动作和自发表情的EEG与面部视频。不同于现有方法，我们设计了一种协议，通过明确诱发参与者的个体动作单元来捕获EEG信号。我们还研究了EEG信号与面部动作单元之间的关系。作为基线，该数据库已通过仅用图像、仅用EEG以及EEG与图像融合的摆拍和自发情绪识别实验进行了评估。该数据库将发布给研究界，以推进自动情绪识别的最优水平。
引用
@article{arxiv.2203.15829,
title = {An EEG-Based Multi-Modal Emotion Database with Both Posed and Authentic Facial Actions for Emotion Analysis},
author = {Xiaotian Li and Xiang Zhang and Huiyuan Yang and Wenna Duan and Weiying Dai and Lijun Yin},
journal= {arXiv preprint arXiv:2203.15829},
year = {2022}
}