多模态情感分析中的通用去偏方法
计算与语言
2023-08-08 v2
摘要
现有的多模态情感分析（MSA）工作利用多模态信息进行预测，却不可避免地受到多模态特征与情感标签之间虚假相关拟合的影响。例如，如果数据集中大多数蓝色背景的视频具有正标签，模型将依赖此类相关性进行预测，而“蓝色背景”并非与情感相关的特征。为解决该问题，我们定义了一项通用去偏 MSA 任务，旨在通过减少 MSA 模型对虚假相关的依赖来增强其分布外（OOD）泛化能力。为此，我们提出了一种基于逆概率加权（IPW）的通用去偏框架，该框架自适应地为偏差较大（即更严重的虚假相关）的样本分配较小权重。该去偏框架的关键在于估计每个样本的偏差，这通过两步实现：1) 解耦各模态中的鲁棒特征与有偏特征，2) 利用有偏特征估计偏差。最后，我们采用 IPW 来减弱大偏差样本的影响，促进用于情感预测的鲁棒特征学习。为检验模型的泛化能力，我们保留了两个基准上的原始测试集，并额外构建了多个单模态和多模态 OOD 测试集。实证结果证明了我们所提框架的优越泛化能力。我们已发布代码和数据以促进复现 https://github.com/Teng-Sun/GEAR。
引用
@article{arxiv.2307.10511,
title = {General Debiasing for Multimodal Sentiment Analysis},
author = {Teng Sun and Juntong Ni and Wenjie Wang and Liqiang Jing and Yinwei Wei and Liqiang Nie},
journal= {arXiv preprint arXiv:2307.10511},
year = {2023}
}
备注
Accepted at ACM MM 2023