一种新颖的多模态情感识别方法：多模态语义信息融合
计算机视觉与模式识别
2025-02-13 v1 人工智能
摘要
随着人工智能和计算机视觉技术的发展，多模态情感识别已成为一个突出的研究主题。然而，现有方法面临着异构数据融合和有效利用模态关联性等挑战。本文提出了一种基于对比学习和视觉序列压缩集成的新颖多模态情感识别方法，DeepMSI-MER。该方法通过对比学习增强跨模态特征融合，利用视觉序列压缩降低视觉模态中的冗余信息。在IEMOCAP和MELD两个公开数据集上的实验结果表明，DeepMSI-MER显著提高了情感识别的准确率和鲁棒性，验证了多模态特征融合和所提方法的有效性。
引用
@article{arxiv.2502.08573,
title = {A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion},
author = {Wei Dai and Dequan Zheng and Feng Yu and Yanrong Zhang and Yaohui Hou},
journal= {arXiv preprint arXiv:2502.08573},
year = {2025}
}