ChatGPT 是知识丰富但缺乏经验的求解器:关于大语言模型常识问题的研究
计算与语言
2024-04-22 v3
摘要
大语言模型(LLMs)在 NLP 中取得了显著进展。然而,它们记忆、表示和利用常识知识的能力一直是一个众所周知的痛点。本文特别关注广泛使用的且易于访问的 LLM——ChatGPT,并提出以下问题:(1) ChatGPT 能否有效回答常识问题?(2) ChatGPT 是否意识到回答特定问题背后的常识知识?(3) ChatGPT 在常识方面是否知识丰富?(4) ChatGPT 能否有效利用常识来回答问题?我们在 11 个数据集上进行了一系列实验来评估 ChatGPT 的常识能力,包括回答常识问题、识别必要知识、生成知识描述以及利用知识描述再次回答问题。实验结果表明:(1) ChatGPT 在常识任务中能取得良好的问答准确率,但在某些领域的数据集上仍表现吃力。(2) ChatGPT 具备知识,并能利用知识提示准确地生成大部分常识知识。(3) 尽管拥有知识,ChatGPT 是一个缺乏经验的常识问题求解器,无法精确识别回答特定问题所需的常识。这些发现表明需要探索改进机制,以将常识有效融入像 ChatGPT 这样的 LLM 中,例如更好的指令遵循与常识引导。
引用
@article{arxiv.2303.16421,
title = {ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models},
author = {Ning Bian and Xianpei Han and Le Sun and Hongyu Lin and Yaojie Lu and Ben He and Shanshan Jiang and Bin Dong},
journal= {arXiv preprint arXiv:2303.16421},
year = {2024}
}
备注
Accepted by LREC-COLING 2024