情感识别对话的有效上下文建模框架
计算与语言
2024-12-24 v1 机器学习
摘要
情感识别对话（ERC）有助于更深入地理解说话者在每段话中传达的情感。最近，图神经网络（GNN）在捕捉数据关系方面表现出色，尤其是在上下文信息建模和多模态融合方面。然而，现有方法常常难以充分捕捉多模态和对话上下文之间的复杂相互作用，限制了其表达能力。为克服这些限制，我们提出了ConxGNN，一种新的基于GNN的框架，用于捕捉对话中的上下文信息。ConxGNN包含两个关键平行模块：一个多尺度异构图捕捉话语对情感变化不同影响，以及一个超图建模多模态和话语之间的多变量关系。这些模块的输出被整合到融合层，其中应用跨模态注意力机制以产生上下文丰富的表示。此外，ConxGNN 通过纳入重新加权方案到损失函数中，解决识别少数或语义相似情感类别的挑战。在IEMOCAP和MELD基准数据集上的实验结果表明，我们的方法 achieves state-of-the-art performance，优于以前的基线方法。
引用
@article{arxiv.2412.16444,
title = {Effective Context Modeling Framework for Emotion Recognition in Conversations},
author = {Cuong Tran Van and Thanh V. T. Tran and Van Nguyen and Truong Son Hy},
journal= {arXiv preprint arXiv:2412.16444},
year = {2024}
}