中文

图像至关重要:面向多模态夸张检测的新数据集与实证研究

计算机视觉与模式识别 2024-03-12 v3 人工智能 计算与语言

摘要

夸张(hyperbole)或夸大是一种常见的语言现象。夸张检测是理解人类表达的重要部分。已有若干关于夸张检测的研究,但大多仅关注文本模态。然而,随着社交媒体发展,人们可利用文本、图像、视频等多种模态创造夸张表达。本文关注多模态夸张检测。我们从微博(中国社交媒体)构建了多模态检测数据集并开展研究。我们将一条微博的文本与图像视为两种模态,探究文本与图像在夸张检测中的作用。我们还在此下游任务上评估了不同的预训练多模态编码器以展示其性能。此外,由于该数据集构建自五个不同话题,我们也评估了不同模型的跨域性能。这些研究可作为基准,并指出多模态夸张检测进一步研究的方向。

关键词

引用

@article{arxiv.2307.00209,
  title  = {Image Matters: A New Dataset and Empirical Study for Multimodal Hyperbole Detection},
  author = {Huixuan Zhang and Xiaojun Wan},
  journal= {arXiv preprint arXiv:2307.00209},
  year   = {2024}
}

备注

Accepted by LREC-COLING 2024