面向多模态情感识别的高效长程潜在关系图神经网络
机器学习
2024-09-04 v2 人工智能
计算与语言
摘要
多模态情感识别在对话（MERC）旨在基于对话中多模态信息分析每个话语的真实情感状态，这对于理解对话至关重要。现有方法侧重于使用图神经网络（GNN）来建模对话关系并捕获上下文潜在语义关系。然而，由于GNN的复杂性，现有方法无法有效捕获长程话语之间的潜在依赖，这限制了MERC的性能。本文提出了一种用于多模态情感识别在对话中的高效长程潜在关系图神经网络（ELR-GNN）。具体而言，我们首先使用预提取的文本、视频和音频特征作为输入到Bi-LSTM，以捕获上下文语义信息并获取低层次的话语特征。然后，我们使用低层次话语特征构建对话情感交互图。为了高效捕获长程话语之间的潜在依赖，我们使用扩张的广义前向推送算法预计算全局话语之间的情感传播，并设计情感关系感知算子以捕获不同话语之间的潜在语义关联。此外，我们结合早期融合和自适应晚期融合机制，以融合说话人关系信息和上下文之间的潜在依赖信息。最后，我们获得高层次的话语特征并输入到MLP进行情感预测。大量实验结果表明，ELR-GNN在基准数据集IEMOCAP和MELD上实现了最先进的性能，分别将运行时间缩短了52%和35%。
引用
@article{arxiv.2407.00119,
title = {Efficient Long-distance Latent Relation-aware Graph Neural Network for Multi-modal Emotion Recognition in Conversations},
author = {Yuntao Shou and Wei Ai and Jiayi Du and Tao Meng and Haiyan Liu and Nan Yin},
journal= {arXiv preprint arXiv:2407.00119},
year = {2024}
}
备注
11 pages, 3 tables