通过广泛具体化实现LLM知识分析

大型语言模型（LLM）在自然语言处理（NLP）和人工智能领域取得了重大进展，除了能够执行广泛的程序性任务外，其内部化的事实性知识也是一项重大成功因素。自Petroni等人（2019）以来，对该知识的分析受到关注。然而，大多数方法通过规模适中的预定义样本逐一研究问题，引入了一种'可得性偏差'（Tversky & Kahnemann, 1973），阻碍了对LLM知识（或信念）的分析，使其超越实验者的预设倾向。为应对这一挑战，我们提出了一种通过递归查询与结果整合全面具体化LLM事实性知识的新方法。我们的方法对LLM研究具有里程碑意义，首次为LLM知识（或信念）的范围与结构提供了建设性洞察。作为原型，我们构建了GPTKB，一个包含超过290万个实体的1.01亿个关系三元组的知识库（KB），来源于GPT-4o-mini。我们使用GPTKB同时分析了GPT-4o-mini的事实性知识在规模、准确性、偏差、截止时间和一致性方面的表现。GPTKB可在 https://gptkb.org 获取。