通过情感跨模态融合和类间对比学习提升对话中的情感识别
计算与语言
2024-05-29 v1
摘要
情感识别在对话 (ERC) 的目的是基于上下文信息识别话语的情感类别。以往的 ERC 方法依赖于简单的跨模态融合方式，忽略了模态之间信息差异，导致模型无法专注于模态特定的情感信息。此外，模态之间共享的信息未被处理以生成情感。为克服这些限制，我们提出了一种基于向量连接的跨模态融合情感预测网络。该网络主要包括基于连接向量的多模态特征融合阶段和基于融合特征的情感分类阶段。此外，我们设计了一个基于情感标签的受监督类间对比学习模块。实验结果确认了所提出方法的有效性，表明其在 IEMOCAP 和 MELD 数据集上表现优异。
引用
@article{arxiv.2405.17900,
title = {Enhancing Emotion Recognition in Conversation through Emotional Cross-Modal Fusion and Inter-class Contrastive Learning},
author = {Haoxiang Shi and Xulong Zhang and Ning Cheng and Yong Zhang and Jun Yu and Jing Xiao and Jianzong Wang},
journal= {arXiv preprint arXiv:2405.17900},
year = {2024}
}
备注
Accepted by the 20th International Conference on Intelligent Computing (ICIC 2024)