PretrainRL：从预训练阶段缓解大语言模型事实性幻觉
计算与语言
2026-02-03 v1
摘要
大语言模型 (LLM) 虽然具备强大的能力，但仍存在事实性幻觉，即生成可验证的虚假内容的问题。我们识别到了这一问题的根源：预训练语料库中数据分布的不平衡，导致“低概率真实”与“高概率虚假”的状态。最近的做法，如教模型说“我不知道”或事后知识编辑，要么回避问题，要么面临灾难性遗忘。为从根本上解决此问题，我们提出了 PretrainRL 框架，将强化学习集成到预训练阶段，以巩固事实知识。PretrainRL 的核心原则是“去偏后再学习”。它通过降低高概率虚假的权重，主动重塑模型的概率分布，从而为低概率真实内容的学习腾出空间。为实现此目标，我们设计了高效的负采样策略以发现这些高概率虚假内容，并引入新指标来评估模型在事实知识方面的概率状态。在三个公开基准上的大量实验表明，PretrainRL 显著缓解了事实性幻觉，优于现有 SOTA 方法。
引用
@article{arxiv.2602.01875,
title = {PretrainRL: Alleviating Factuality Hallucination of Large Language Models at the Beginning},
author = {Langming Liu and Kangtao Lv and Haibin Chen and Weidong Zhang and Yejing Wang and Shilei Liu and Xin Tong and Yujin Yuan and Yongwei Wang and Wenbo Su and Bo Zheng},
journal= {arXiv preprint arXiv:2602.01875},
year = {2026}
}