在对话中追踪复杂线索：基于联合图结构和情感动力学的多模态情感识别
计算与语言
2025-07-01 v2
摘要
多模态情感识别在对话中的研究（MERC）最近引起了大量关注。现有的MERC方法面临多个挑战：（1）它们未能充分利用直接的跨模态线索，可能导致跨模态建模不够充分；（2）它们在每个网络层同时从相同或不同模态中提取信息，可能引发来自多源数据融合的冲突；（3）它们缺乏检测动态情感变化的灵活性，可能导致对情感突变的言语分类不准确。为解决这些问题，提出了一种名为GraphSmile的新方法，用于在多模态对话中追踪复杂情感线索。GraphSmile包含两个关键组件，即GSF和SDP模块。GSF巧妙地利用图结构逐层交替整合跨模态和内模态情感依赖，充分捕捉跨模态线索，同时有效避免融合冲突。SDP是一种辅助任务，用于显式划分言语之间的情感动力学，促进模型区分情感差异的能力。GraphSmile可以轻松应用于对话中的多模态情感分析（MSAC），从而实现MERC和MSAC任务的同步执行。在多个基准数据集上的实验结果表明，GraphSmile能够处理复杂的情感和情感模式，显著优于基线模型。
关键词
引用
@article{arxiv.2407.21536,
title = {Tracing Intricate Cues in Dialogue: Joint Graph Structure and Sentiment Dynamics for Multimodal Emotion Recognition},
author = {Jiang Li and Xiaoping Wang and Zhigang Zeng},
journal= {arXiv preprint arXiv:2407.21536},
year = {2025}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence