“一次机智，化为新语”：大型语言模型能否理解双关语？
计算与语言
2024-06-18 v2
摘要
双关语在学术研究中发挥着重要作用，因其独特的结构和清晰的定义，有助于对语言幽默进行全面分析。然而，对大型语言模型 (LLM) 中双关语理解的研究尚不充分，限制了其在创意写作和幽默创作中的应用。在本文中，我们利用三项流行任务，即双关语识别、解释和生成，系统性地评估了 LLM 在双关语理解方面的能力。除了采用先前研究中使用的自动评估指标外，我们还引入了更适合 LLM 零样本学习范式的新评估方法和指标。这些新指标对评估 LLM 双关语理解能力更为严谨，更贴近人类认知。我们的发现揭示了“懒惰双关语生成”模式，并识别了 LLM 在理解双关语时所面临的主要挑战。
引用
@article{arxiv.2404.13599,
title = {"A good pun is its own reword": Can Large Language Models Understand Puns?},
author = {Zhijun Xu and Siyu Yuan and Lingjie Chen and Deqing Yang},
journal= {arXiv preprint arXiv:2404.13599},
year = {2024}
}