大语言模型作为事实知识储存库：局限性与解决方案
计算与语言
2026-03-18 v2
摘要
大语言模型（LLMs）的知识来源是包含不同时间戳和不同媒介类型（如维基百科、社交媒体等）所收集的事实信息的data snapshot。这种非结构化知识因随时间更新而发生变化。同样重要的是，不同信息来源之间存在不一致性和不准确性。因此，模型对某个实体的知识可能在训练期间或推理期间受到扰动，导致模型表现不一致且不准确。本文研究大语言模型（LLMs）作为事实知识储存库的合适性。我们考察了24个最先进的大语言模型，要么是封闭式，要么是部分（权重）或完全（权重和训练数据）开源的。我们评估了它们在回答时敏感事实问题时的可靠性，包括准确性和一致性，当提示词被扰动时。我们进一步评估了提升LLMs准确性和一致性的最新方法的有效性。我们提出了 ENtity-Aware Fine-tuning（ENAF）方法，这是一种软神经符号方法，旨在通过 fine-tuning 提供实体的结构化表示，以减少不一致性并提高在提示词变化下的响应稳定性。
引用
@article{arxiv.2501.12774,
title = {LLMs as Repositories of Factual Knowledge: Limitations and Solutions},
author = {Seyed Mahed Mousavi and Simone Alghisi and Giuseppe Riccardi},
journal= {arXiv preprint arXiv:2501.12774},
year = {2026}
}