MMSD2.0：迈向可靠的多模态讽刺检测系统

Libo Qin; Shijue Huang; Qiguang Chen; Chenran Cai; Yudi Zhang; Bin Liang; Wanxiang Che; Ruifeng Xu

MMSD2.0：迈向可靠的多模态讽刺检测系统

计算与语言 2023-07-17 v1

作者: Libo Qin , Shijue Huang , Qiguang Chen , Chenran Cai , Yudi Zhang , Bin Liang , Wanxiang Che , Ruifeng Xu

摘要

多模态讽刺检测近来引起了广泛关注。然而，现有基准（MMSD）存在一些阻碍可靠多模态讽刺检测系统发展的缺陷：（1）MMSD 中存在一些虚假线索，导致模型偏差学习；（2）MMSD 中的负样本并非总是合理。为解决上述问题，我们引入了 MMSD2.0，这是一个通过移除虚假线索并重新标注不合理样本来修正 MMSD 缺陷的校正数据集。同时，我们提出了一种称为多视角 CLIP 的新框架，能够从多个视角（即文本、图像以及文本-图像交互视角）利用多粒度线索进行多模态讽刺检测。大量实验表明，MMSD2.0 是构建可靠多模态讽刺检测系统的一个有价值的基准，且多视角 CLIP 能够显著优于先前的最佳基线。

关键词

多模态讽刺检测 MMSD2.0 多视角 CLIP 基准数据集虚假线索负样本重标注

引用

@article{arxiv.2307.07135,
  title  = {MMSD2.0: Towards a Reliable Multi-modal Sarcasm Detection System},
  author = {Libo Qin and Shijue Huang and Qiguang Chen and Chenran Cai and Yudi Zhang and Bin Liang and Wanxiang Che and Ruifeng Xu},
  journal= {arXiv preprint arXiv:2307.07135},
  year   = {2023}
}

备注

Accepted by ACL2023 Findings

MMSD2.0：迈向可靠的多模态讽刺检测系统

摘要

关键词

引用

备注

相关论文