GPT-3能否进行成文法推理？
计算与语言
2023-05-12 v2 人工智能
摘要
成文法推理是利用事实和成文法进行推理的任务，其中成文法是由立法机关以自然语言编写的规则。这是一项基本法律技能。本文中，我们探究能力最强的GPT-3模型text-davinci-003在名为SARA的成熟成文法推理数据集上的能力。我们考虑了多种方法，包括动态少样本提示、思维链提示和零样本提示。尽管我们用GPT-3取得了优于先前已发表最佳结果的成绩，我们也识别出其犯下的几类明显错误。我们探究了这些错误发生的原因。我们发现GPT-3对SARA所基于的实际美国成文法具有不完善的先验知识。更重要的是，我们创建了简单的合成成文法，可确保GPT-3在训练期间未曾见过。我们发现GPT-3在回答关于这些简单合成成文法的直白问题时表现很差。
引用
@article{arxiv.2302.06100,
title = {Can GPT-3 Perform Statutory Reasoning?},
author = {Andrew Blair-Stanek and Nils Holzenberger and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2302.06100},
year = {2023}
}
备注
10 pages