大语言模型对形式语言的精通程度如何？对知识库问答的深入洞察
计算与语言
2024-06-17 v2
摘要
知识库问答（KBQA）旨在基于知识库中的事实回答自然语言问题。KBQA 的一种典型方法是语义解析，它将问题翻译成某种形式语言中可执行的逻辑形式。近期工作利用大语言模型（LLMs）的逻辑形式生成能力来提升性能。然而，尽管已验证 LLMs 能够解决某些 KBQA 问题，但关于 LLMs 对语义解析中使用的形式语言精通程度的差异却鲜有讨论。在这项工作中，我们提议通过考察 LLMs 在上下文学习中对自然语言与形式语言的相互转换，来评估其理解和生成不同结构逻辑形式的能力。使用不同规模模型进行的大量实验表明，最先进的 LLMs 可以像人类一样理解形式语言，但在给定少量示例的情况下生成正确的逻辑形式仍然是一个挑战。最重要的是，我们的结果还表明 LLMs 表现出相当大的敏感性。总体而言，形式化水平较低的形式语言，即与自然语言越相似，对 LLMs 越友好。
引用
@article{arxiv.2401.05777,
title = {How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering},
author = {Jinxin Liu and Shulin Cao and Jiaxin Shi and Tingjian Zhang and Lunyiu Nie and Linmei Hu and Lei Hou and Juanzi Li},
journal= {arXiv preprint arXiv:2401.05777},
year = {2024}
}
备注
ACL Findings 2024