基于对比学习的多模态讽刺检测去偏
计算与语言
2023-12-20 v2 多媒体
摘要
尽管现有工作取得了值得称赞的成就，但主流的多模态讽刺检测研究更多依赖文本内容而非视觉信息。这不可避免地导致文本词汇与标签之间产生虚假相关性，从而显著阻碍模型的泛化能力。为解决这一问题，我们定义了分布外（OOD）多模态讽刺检测任务，旨在评估模型在训练和测试环境中词分布不同时的泛化能力。此外，我们提出了一种基于对比学习的去偏多模态讽刺检测新框架，旨在减轻有偏文本因素对鲁棒 OOD 泛化的有害影响。具体而言，我们首先设计反事实数据增强，以构建具有不同词汇偏差的正样本和具有相似词汇偏差的负样本。随后，我们设计了一种自适应去偏对比学习机制，使模型能够学习鲁棒的任务相关特征并减轻有偏词汇的不利影响。大量实验表明了所提框架的优越性。
引用
@article{arxiv.2312.10493,
title = {Debiasing Multimodal Sarcasm Detection with Contrastive Learning},
author = {Mengzhao Jia and Can Xie and Liqiang Jing},
journal= {arXiv preprint arXiv:2312.10493},
year = {2023}
}