COGMEN：基于上下文图神经网络的多模态情绪识别
计算与语言
2022-05-06 v1 人工智能
机器学习
摘要
情绪是人类交互的内在组成部分，因此开发能够理解与识别人类情绪的 AI 系统至关重要。在涉及多人的对话中，一个人的情绪受到其他说话者话语及其自身在话语序列中情绪状态的影响。本文提出基于上下文图神经网络的多模态情绪识别（COGMEN）系统，其利用局部信息（即说话者间/内依赖）与全局信息（上下文）。所提模型使用基于图神经网络（GNN）的架构来建模对话中的复杂依赖（局部与全局信息）。我们的模型在 IEMOCAP 和 MOSEI 数据集上取得了最先进（SOTA）结果，详细的消融实验显示了在两层信息上建模的重要性。
引用
@article{arxiv.2205.02455,
title = {COGMEN: COntextualized GNN based Multimodal Emotion recognitioN},
author = {Abhinav Joshi and Ashwani Bhat and Ayush Jain and Atin Vikram Singh and Ashutosh Modi},
journal= {arXiv preprint arXiv:2205.02455},
year = {2022}
}
备注
17 pages (9 main + 8 appendix). Accepted at NAACL 2022