面向多模态情感识别的动态图神经 ODE 网络
计算与语言
2025-08-13 v2
摘要
多模态情感识别在对话中的情感识别（MERC）指通过结合来自多种不同模态（如音频、图像、文本、视频等）的数据来识别和分类人类情感状态。大多数现有的多模态情感识别方法使用 GCN 来提升性能，但现有 GCN 方法容易过拟合，无法捕获说话者情感的时序依赖性。为此，我们提出一种名为动态图神经常微分方程网络（DGODE）的 MERC 方法，结合情感的动态变化来捕获说话者情感的时序依赖性，有效缓解了 GCN 的过拟合问题。技术上，DGODE 的关键思想是利用自适应 mixhop 机制提高 GCN 的泛化能力，并使用图 ODE 进化网络来刻画节点表示随时间的连续动态，以捕获时序依赖性。在两个公开可用的多模态情感识别数据集上进行大量实验表明，所提出的 DGODE 模型在 various baselines 上表现出优越性能。此外，所提出的 DGODE 还能缓解过平滑问题，从而 enables 构建更深的 GCN 网络。
引用
@article{arxiv.2412.02935,
title = {Dynamic Graph Neural ODE Network for Multi-modal Emotion Recognition in Conversation},
author = {Yuntao Shou and Tao Meng and Wei Ai and Keqin Li},
journal= {arXiv preprint arXiv:2412.02935},
year = {2025}
}
备注
13 pages, 6 figures