基于多通道和对称互促特征融合的多模态情感分析
计算机视觉与模式识别
2026-01-07 v1 人工智能
摘要
多模态情感分析是人机交互和情感计算领域的关键技术。准确识别人类情绪状态对于促进人机之间的顺畅沟通至关重要。尽管已在多模态情感分析研究中取得一些进展，但仍面临诸多挑战。第一个挑战是从单一模态数据中提取的特征有限且不够丰富。其次，大多数研究仅关注跨模态特征信息的一致性，忽略了特征之间的差异，导致特征融合不充分。本文首先提取多通道特征，以获得更全面的特征信息。在视觉和听觉模态中，我们采用双通道特征来增强模态内特征表示。其次，我们提出一种对称互促 (SMP) 跨模态特征融合方法。该方法结合对称跨模态注意力机制和自注意力机制，其中跨模态注意力机制捕获来自其他模态的有用信息，而自注意力机制则建模上下文信息。该方法促进了模态之间有用信息的交换，从而加强了跨模态相互作用。此外，我们整合了模态内特征和跨模态融合特征，充分利用跨模态特征信息的互补性，同时考虑特征信息的差异。在两个基准数据集上的实验表明，我们提出的方法在有效性和优越性方面具有优势。
引用
@article{arxiv.2601.02415,
title = {Multimodal Sentiment Analysis based on Multi-channel and Symmetric Mutual Promotion Feature Fusion},
author = {Wangyuan Zhu and Jun Yu},
journal= {arXiv preprint arXiv:2601.02415},
year = {2026}
}