语用理解的“金发姑娘原则”：微调策略对LLM隐含意义解析至关重要
计算与语言
2023-12-05 v2
摘要
尽管大语言模型（LLM）作为对话智能体被广泛使用，但其性能评估未能捕捉到交流的一个关键方面：在语境中解释语言——即结合其语用学。人类利用信念和对世界的先验知识来解释语言。例如，对于“你留下指纹了吗？”这个问题，我们凭直觉将回答“我戴了手套”理解为“没有”。为了探究LLM是否具备进行此类推理（即隐含意义）的能力，我们设计了一个简单任务，并评估了四类广泛使用的最先进模型。我们发现，尽管仅评估需要二元推理（是或否）的话语，其中三类模型的表现仍接近随机水平。然而，在样本级别进行指令微调的LLM表现显著更好。这些结果表明，某些微调策略在诱导模型的语用理解方面远为优越。我们将此发现作为进一步研究的起点，旨在评估LLM如何在语境中解释语言，并推动开发更务实、更有用的人类话语模型。
引用
@article{arxiv.2210.14986,
title = {The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs},
author = {Laura Ruis and Akbir Khan and Stella Biderman and Sara Hooker and Tim Rocktäschel and Edward Grefenstette},
journal= {arXiv preprint arXiv:2210.14986},
year = {2023}
}
备注
Accepted as Spotlight at NeurIPS 2023