基于面部特征与生理信号的可解释多模态情绪识别
人工智能
2023-06-06 v1
摘要
本文旨在展示融合多模态信息进行情绪识别的重要性和可行性。通过融合来自输入视频中提取的视觉面部特征与 rPPG 信号的信息，引入了一种用于情绪理解的多模态框架。还实现了一种基于排列特征重要性分析的可解释性技术，以计算 rPPG 与视觉模态对将给定输入视频分类至特定情绪类别的贡献。在 IEMOCAP 数据集上的实验表明，结合多模态的互补信息可提升情绪分类性能。
引用
@article{arxiv.2306.02845,
title = {Interpretable Multimodal Emotion Recognition using Facial Features and Physiological Signals},
author = {Puneet Kumar and Xiaobai Li},
journal= {arXiv preprint arXiv:2306.02845},
year = {2023}
}
备注
Accepted for Oral Presentation in DAI 2023 (https://rbcdsai.iitm.ac.in/DAI-2023/program.html)