大语言模型知识物化基础: 中止性、可重复性与鲁棒性
计算与语言
2026-01-14 v3 人工智能
摘要
大语言模型(LLM)编码了大量事实知识,但衡量和系统化这种知识仍具有挑战性。将其转换为结构化格式(例如通过递归提取方法如GPTKB方法论(Hu等,2025b))仍在探索中。关键开放问题包括这种提取是否可以中止、其输出是否可重复以及其对变化的鲁棒性如何。我们系统性地研究了LLM知识物化,使用miniGPTKBs(领域特定、可操作的子爬行)分析中止性、可重复性和鲁棒性,涵盖三类指标:产出率、词汇相似性和语义相似性。我们实验了四种变体(随机种子、语言、随机性、模型)和三个示范性领域(历史、娱乐、金融)。我们的发现表明:(i)高中止率,尽管模型相关; (ii)可重复性混合; (iii)鲁棒性随扰动类型而异:对随机种子和温度高度鲁棒,对语言和模型则较低。这些结果表明,LLM知识物化可以可靠地暴露核心知识,同时也揭示了重要的局限性。
引用
@article{arxiv.2510.06780,
title = {Foundations of LLM Knowledge Materialization: Termination, Reproducibility, Robustness},
author = {Luca Giordano and Simon Razniewski},
journal= {arXiv preprint arXiv:2510.06780},
year = {2026}
}
备注
Accepted and published in Findings of EACL 2026