GIA-MIC：基于门控交互注意力与模态不变学习约束的多模态情感识别
人工智能
2025-06-03 v1 机器学习
摘要
多模态情感识别（MER）从包含视觉、语音和文本输入的多模态数据中提取情感，在人机交互中发挥着关键作用。基于注意力的融合方法主导了 MER 研究，取得了强大的分类性能。然而，仍存在两个关键挑战：有效提取模态特定特征，以及克服由模态异质性引起的分布差异来捕捉跨模态相似性。为解决这些问题，我们提出了一种门控交互注意力机制，以自适应地提取模态特定特征，并通过成对交互增强情感信息。此外，我们引入了模态不变生成器来学习模态不变表征，并通过跨模态相似性对齐来约束域偏移。在 IEMOCAP 上的实验表明，我们的方法优于 SOTA MER 方法，实现了 80.7% 的 WA 和 81.3% 的 UA。
引用
@article{arxiv.2506.00865,
title = {GIA-MIC: Multimodal Emotion Recognition with Gated Interactive Attention and Modality-Invariant Learning Constraints},
author = {Jiajun He and Jinyi Mi and Tomoki Toda},
journal= {arXiv preprint arXiv:2506.00865},
year = {2025}
}
备注
Accepted by INTERSPEECH 2025