从 100 万条信念中挖掘前沿大语言模型的知识
计算与语言
2025-10-10 v2 人工智能
摘要
大语言模型 (LLM) 是极具革命性的成果，推动了广泛的 NLP 和 AI 任务。其关键贡献之一是事实知识，然而迄今为止，这一知识储备鲜有深入了解，往往基于有偏样本进行分析。本文基于 GPTKB v1.5（Hu 等，2025a）——一个递归诱导的包含 1 亿条信念的数据集，深入探究当前最强前沿大语言模型（GPT-4.1）的事实知识（即信念）。我们发现模型的事实知识与已建立的知识库差异显著，其准确率远低于先前基准所暗示的水平。我们也发现一致性、模糊性和幻觉是主要问题，这为关注事实 LLM 知识的未来研究提供了启发。
引用
@article{arxiv.2510.07024,
title = {Mining the Mind: What 100M Beliefs Reveal About Frontier LLM Knowledge},
author = {Shrestha Ghosh and Luca Giordano and Yujia Hu and Tuan-Phong Nguyen and Simon Razniewski},
journal= {arXiv preprint arXiv:2510.07024},
year = {2025}
}