大语言模型中标量隐喻的实用推理
计算与语言
2024-08-14 v1
摘要
本研究探讨了大语言模型（LLM），特别是 BERT（Devlin 等，2019）和 GPT-2（Radford 等，2019），如何进行标量隐喻（如 some）的语用推理。采用余弦相似度和下一个句子/词预测等实验方法进行实验。实验 1的结果表明，两类模型在无上下文情况下均将 some 解释为语用隐喻（而非全部），这与人类语言处理一致。实验 2中引入问题讨论（QUD）作为上下文线索，BERT 在不同类型的 QUD 下表现一致，而 GPT-2 由于某些类型的 QUD 需要对隐喻进行语用推理，遭遇了处理困难。研究发现，BERT 本质上将 some 中的语用隐喻 not all 内置于该术语中，符合 Default 模型（Levinson，2000）；而 GPT-2 在上下文中推理语用隐喻时遇到困难，符合 Context-driven 模型（Sperber 和 Wilson，2002）的预期。
引用
@article{arxiv.2408.06673,
title = {Pragmatic inference of scalar implicature by LLMs},
author = {Ye-eun Cho and Seong mook Kim},
journal= {arXiv preprint arXiv:2408.06673},
year = {2024}
}
备注
This research was presented at the Association for Computational Linguistics conference, held on August 11-16