Cross-modal Context Fusion and Adaptive Graph Convolutional Network for Multimodal Conversational Emotion Recognition
计算与语言
2025-01-28 v1
摘要
情感识别在人机交互、营销、医疗等领域具有广泛应用。近年来，深度学习技术的发展为情感识别提供了新方法。在此之前，提出了许多情感识别方法，包括多模态情感识别方法，但这些方法忽略了不同输入模态之间的相互干扰，以及对说话者之间方向性对话的关注不足。因此，本文提出了一种新的多模态情感识别方法，包括交叉模态上下文融合模块、自适应图卷积编码模块和情感分类模块。交叉模态上下文模块包括交叉模态对齐模块和上下文融合模块，用于减少不同输入模态之间引入的噪声。自适应图卷积模块为提取说话者之间的依赖关系和自身依赖关系构建对话关系图。我们的模型在公开的基准数据集上超越了一些最先进的方法，实现了高识别准确率。
引用
@article{arxiv.2501.15063,
title = {Cross-modal Context Fusion and Adaptive Graph Convolutional Network for Multimodal Conversational Emotion Recognition},
author = {Junwei Feng and Xueyan Fan},
journal= {arXiv preprint arXiv:2501.15063},
year = {2025}
}