通过检索预训练数据实现诚实的大型语言模型
计算与语言
2026-01-30 v1
摘要
大型语言模型（LLMs）在回答问题方面表现卓越，但常常不了解自身知识边界，即知道自己掌握什么知识以及掌握什么知识。这导致它们在知识不足的主题上会生成事实错误的响应，称为“幻觉”。相反，语言模型应该更诚实，当其对某个主题知识不足时，应回复“我不知道”。已提出许多方法来提高LLM的诚实性，但其评估缺乏鲁棒性，因为未考虑LLM在预训练过程中吸收的知识。本文提出了一种更可靠的LLM诚实性评估基准数据集，通过利用Pythia这一真正开放的LLM及其公开的预训练数据。此外，我们还提出了一种新颖的方法，用于利用预训练数据构建更诚实的LLM。
引用
@article{arxiv.2601.21218,
title = {Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data},
author = {Christopher Adrian Kusuma and Muhammad Reza Qorib and Hwee Tou Ng},
journal= {arXiv preprint arXiv:2601.21218},
year = {2026}
}