基于反事实增强的目标导向多模态情感分类去偏框架

目标导向多模态情感分类旨在从图像-文本对中预测特定目标的情感极性。虽然现有工作取得了竞争成绩，但它们往往过度依赖文本内容且未考虑数据偏差，特别是词级别的上下文偏差。这导致文本特征与输出标签之间出现虚假关联，损害分类准确性。本文引入一种新的反事实增强去偏框架以减少此类虚假关联。我们的框架包含反事实数据增强策略，该策略最小程度地改变情感相关的因果特征，生成细粒度匹配的图像-文本样本，以引导模型关注与情感相关的内容。此外，为了从反事实数据中学习鲁棒特征并提示模型决策，我们引入一种自适应去偏对比学习机制，有效减轻偏置词的影响。实验在几个基准数据集上表明，我们的所提出的方法优于最新基线方法。