NYK-MS：面向漫画标题数据集的多模态讽刺与隐喻理解基准
计算与语言
2024-09-04 v1
摘要
隐喻与讽刺是人类交际中常见的修辞表达，尤其在互联网及年轻人群中流行的表情包中更为常见。我们构建了一个新的基准数据集，命名为 NYK-MS（NewYorker for Metaphor and Sarcasm），包含 1,583 个样本用于隐喻理解任务，以及 1,578 个样本用于讽刺理解任务。这些任务包括是否存在隐喻/讽刺、隐喻/讽刺涉及的具体词语或对象、讽刺的具体内容以及为何包含隐喻/讽刺——所有 7 项任务均由至少 3 位标注员进行高质量标注。我们经过多轮标注以提高一致性与质量，利用 GUI 与 GPT-4V 提升标注效率。基于该基准，我们进行了大量实验。在零样本实验中，我们表明大语言模型（LLM）和大型多模态模型（LMM）在分类任务上表现不佳，随模型规模增大，对其他 5 项任务的性能亦有提升。在传统预训练模型实验中，我们展示了通过数据增强与对齐方法的提升，证明了本基准与前人数据集的一致性，并要求模型理解两种模态的信息。
引用
@article{arxiv.2409.01037,
title = {NYK-MS: A Well-annotated Multi-modal Metaphor and Sarcasm Understanding Benchmark on Cartoon-Caption Dataset},
author = {Ke Chang and Hao Li and Junzhao Zhang and Yunfang Wu},
journal= {arXiv preprint arXiv:2409.01037},
year = {2024}
}
备注
13 pages, 6 figures