基于谱域重构的图神经网络用于对话情感识别中的不完整多模态学习
计算与语言
2024-12-02 v1
摘要
对话情感识别中的多模态情感识别（MERC）旨在使用文本、声音和视觉模态特征对句子情绪进行分类。大多数现有MERC方法假设每个句子具有完整的模态，忽略了现实场景中常见的不完整模态问题。最近，图神经网络（GNN）在对话情感识别中的不完整多模态情感识别（IMERC）方面取得了显著的成果。然而，传统GNN仅关注节点之间的二元关系，限制了其捕捉更复杂、更高阶信息的能力。此外，重复的消息传递会导致过平滑，降低其保留关键高频细节的能力。为此，我们提出了一种用于对话情感识别中不完整多模态学习的谱域重构图神经网络（SDR-GNN）。SDR-GNN基于说话者和上下文关系，使用滑动窗口构建句子语义交互图，以建模情感依赖。为捕捉更高阶和高频信息，SDR-GNN采用加权关系聚合，确保跨句子的一致语义特征提取。此外，它在谱域内执行多频率聚合，实现对不完整模态的有效恢复，通过提取高频和低频信息。最后，应用多头注意力机制对特征进行融合和优化，以进行情感识别。在多个真实数据集上的大量实验表明，我们的方法在不完整多模态学习方面有效，且优于当前最先进的方法。
引用
@article{arxiv.2411.19822,
title = {SDR-GNN: Spectral Domain Reconstruction Graph Neural Network for Incomplete Multimodal Learning in Conversational Emotion Recognition},
author = {Fangze Fu and Wei Ai and Fan Yang and Yuntao Shou and Tao Meng and Keqin Li},
journal= {arXiv preprint arXiv:2411.19822},
year = {2024}
}
备注
17 pages, 8 figures