面向多模态情感分析的冲突感知惩罚与统计损失框架
人工智能
2026-05-28 v1
摘要
多模态情感分析（MSA）融合文本、语音和视觉三种模态以推断情感。由于预训练文本编码器的表达能力远超语音和视觉编码器，文本模态在优化过程中往往占主导地位，压制了较弱的模态，进而引发梯度范数冲突，导致训练不稳定。为此，我们提出了一种冲突感知惩罚（Conflict-aware Penalty, CP），用于检测并惩罚每一步训练中的梯度冲突；同时引入统计损失（Statistical Loss, SL），以对齐预测分布统计与实际输入统计。关键在于，CP防止主导模态的梯度干扰SL目标，从而在集成自适应模态编码、门控跨模态融合和单模态辅助头于统一框架内实现协同训练。在CMU-MOSI数据集上实验表明，本方法实现了状态最佳性能，消融实验亦证明了各组件的有效性。
引用
@article{arxiv.2605.28575,
title = {A Conflict-Aware Penalty and Statistical Loss Framework for Balancing Modalities and Enhancing Stability in Multimodal Sentiment Analysis},
author = {Jianheng Dai and Jiazhang Liang and Sijie Mai},
journal= {arXiv preprint arXiv:2605.28575},
year = {2026}
}