基于双信息瓶颈的鲁棒多模态情感分析
人工智能
2025-11-04 v1
摘要
多模态情感分析在多个研究领域受到了广泛关注。尽管算法设计取得了进展，现有方法仍存在两个关键局限性：对受噪声污染的单模态数据学习不足，导致跨模态交互受损；以及多模态表示融合不充分，导致在保留多模态冗余信息的同时丢弃了有判别力的单模态信息。为了解决这些挑战，本文提出了一种双信息瓶颈（DIB）策略，以获得强大、统一的紧凑多模态表示。在低秩 Renyi 熵泛函的框架内实现，与传统的基于 Shannon 熵的方法相比，DIB 对多种噪声源具有更强的鲁棒性，并且对高维数据具有计算可行性。DIB 包含两个关键模块：1）通过最大化任务相关信息并丢弃多余信息，学习每个单模态数据的充分且压缩的表示；2）通过一种新颖的注意力瓶颈融合机制，确保多模态表示的判别能力。因此，DIB 产生的多模态表示能有效过滤来自单模态数据的噪声信息，同时捕获模态间的互补性。在 CMU-MOSI、CMU-MOSEI、CH-SIMS 和 MVSA-Single 上的大量实验验证了我们方法的有效性。该模型在 CMU-MOSI 的 Acc-7 指标下达到 47.4% 的准确率，在 CH-SIMS 上达到 81.63% 的 F1 分数，分别比第二好的基线高出 1.19%。在噪声条件下，在 CMU-MOSI 和 CMU-MOSEI 上分别仅有 0.36% 和 0.29% 的性能下降。
引用
@article{arxiv.2511.01444,
title = {Robust Multimodal Sentiment Analysis via Double Information Bottleneck},
author = {Huiting Huang and Tieliang Gong and Kai He and Jialun Wu and Erik Cambria and Mengling Feng},
journal= {arXiv preprint arXiv:2511.01444},
year = {2025}
}