面向分布外多模态情感分析的反事实推理
计算与语言
2022-07-26 v1 人工智能
摘要
现有的多模态情感分析研究严重依赖文本模态，并不可避免地诱发了文本词与情感标签之间的虚假关联。这极大阻碍了模型的泛化能力。为解决该问题，我们定义了分布外（OOD）多模态情感分析任务。该任务旨在评估并缓解文本模态对强 OOD 泛化的不良影响。为此，我们采用因果推断，通过因果图审视因果关系。由图可知，虚假关联归因于文本模态对模型预测的直接效应，而考虑多模态语义的间接效应更为可靠。受此启发，我们设计了一个模型无关的多模态情感分析反事实框架，该框架通过额外的文本模型捕获文本模态的直接效应，并通过多模态模型估计间接效应。在推理阶段，我们首先通过反事实推理估计直接效应，再从所有模态的总效应中减去该直接效应，从而得到用于可靠预测的间接效应。大量实验表明了我们提出框架的优越有效性与泛化能力。
引用
@article{arxiv.2207.11652,
title = {Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis},
author = {Teng Sun and Wenjie Wang and Liqiang Jing and Yiran Cui and Xuemeng Song and Liqiang Nie},
journal= {arXiv preprint arXiv:2207.11652},
year = {2022}
}