Towards Multimodal Sentiment Analysis Debiasing via Bias Purification

多模态情感分析（MSA）旨在通过整合来自视觉、语言和音频等不同模态的情感相关线索来理解人类意图。不幸的是，当前的 MSA 任务 invariably 遭受非计划的数据集偏差的影响，特别是多模态话语级标签偏差和词级上下文偏差。这些有害偏差可能会误导模型关注统计捷径和虚假相关性，导致严重的性能瓶颈。为了缓解这些问题，我们提出了一个基于因果性而非传统似然性的多模态反推情感（MCIS）分析框架。具体而言，我们首先构建一个因果图，以从已训练的普通模型中发现有害偏差。在推理阶段，给定一个事实多模态输入，MCIS 构想两个反事实场景来净化和减轻这些偏差。然后，MCIS 可以通过比较事实和反事实结果，从有偏观测中做出无偏决策。我们在几个标准 MSA 基准上进行了广泛的实验。定性和定量结果展示了所提框架的有效性。