面向 LLM 的隐喻理解挑战数据集
计算与语言
2024-03-19 v1
摘要
自然语言中的隐喻是类比推理和分类等基本认知过程的反映，并深深扎根于日常交流中。因此，隐喻理解是大型语言模型（LLMs）的一项基本任务。我们发布了隐喻理解挑战数据集（MUNCH），旨在评估 LLM 的隐喻理解能力。该数据集为包含隐喻使用的句子提供了超过 1 万条释义，以及 1.5 千条包含不恰当释义的实例。这些不恰当释义经过精心挑选，作为对照组以确定模型是确实执行了完整的隐喻解释，还是仅仅诉诸于词汇相似性。所有恰当和不恰当的释义均经过人工标注。这些隐喻句子涵盖了 4 种体裁（学术、新闻、小说和会话）中自然隐喻的使用，并表现出不同程度的新颖性。在 LLaMA 和 GPT-3.5 上的实验表明，MUNCH 对 LLM 构成了极具挑战性的任务。该数据集可在 https://github.com/xiaoyuisrain/metaphor-understanding-challenge 免费获取。
引用
@article{arxiv.2403.11810,
title = {Metaphor Understanding Challenge Dataset for LLMs},
author = {Xiaoyu Tong and Rochelle Choenni and Martha Lewis and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2403.11810},
year = {2024}
}