MCIHN：基于多路径跨模态交互的混合网络模型用于多模态情感识别
计算机视觉与模式识别
2025-10-30 v1 多媒体
摘要
多模态情感识别是未来人机交互的关键问题。然而，由于不同模态之间的差异以及难以表征单模态情感信息，准确的情感识别仍面临重大挑战。为解决这些问题，提出一种基于多路径跨模态交互 (MCIHN) 的混合网络模型。首先，分别为每个模态构建对抗性自编码器 (AAE)。AAE学习判别性情感特征，并通过解码器重构特征以获得更具判别性的情感类别信息。随后，将来自不同模态 AAE 的潜在代码输入到预定义的跨模态门控机制模型 (CGMM) 中，以减少模态之间的差异，建立交互模态之间的情感关系，并生成不同模态之间的交互特征。最后使用特征融合模块 (FFM) 进行多模态融合以实现更好的情感识别。我们在公开的 SIMS 和 MOSI 数据集上进行实验，结果表明 MCIHN 性能优异。
引用
@article{arxiv.2510.24827,
title = {MCIHN: A Hybrid Network Model Based on Multi-path Cross-modal Interaction for Multimodal Emotion Recognition},
author = {Haoyang Zhang and Zhou Yang and Ke Sun and Yucai Pang and Guoliang Xu},
journal= {arXiv preprint arXiv:2510.24827},
year = {2025}
}
备注
The paper will be published in the MMAsia2025 conference proceedings