难关：与对话型大语言模型一起进行习语检测
计算与语言
2024-05-20 v1
摘要
In this work, we explore idiomatic language processing with Large Language Models (LLMs)。我们引入了 Idiomatic language Test Suite IdioTS，一个由 language experts 专为评估 LLMs 处理句子层次修辞语言能力而设计的新型困难案例数据集。我们提出了基于习语检测任务的全面评估方法，其中 LLMs 将被要求检测给定英文句子中的习语表达。我们对结果进行了 thorough 的自动和手动评估，并进行了 extensive 的错误分析。
引用
@article{arxiv.2405.10579,
title = {A Hard Nut to Crack: Idiom Detection with Conversational Large Language Models},
author = {Francesca De Luca Fornaciari and Begoña Altuna and Itziar Gonzalez-Dios and Maite Melero},
journal= {arXiv preprint arXiv:2405.10579},
year = {2024}
}