事实的未来：追踪事实生成-验证差距
计算与语言
2026-05-28 v1 人工智能
机器学习
摘要
语言模型正成为事实知识的默认接口，然而它们验证输出的可靠性往往高于生成输出的可靠性。这种生成-验证差距(GV-gap)是近期自我改进和推理方面许多进展的基础，但其在事实知识上的动态特性仍知之甚少。我们聚焦于事实性GV-gap背后的训练机制，将其与计算和美学方面的对应物区分开来。我们追踪了在三个训练阶段(获取、持续学习和更新)中，跨越四个开源模型系列(每个系列两种规模)的生成和验证能力。三个发现反复出现在模型中：(i) 验证始终先于生成被学习；(ii) 验证比生成对持续学习更具鲁棒性；(iii) 事实更新可能使模型处于一种“多重宇宙”状态，同时将新旧答案都验证为正确。对前沿模型的自然实验在大规模上重现了这些动态，并揭示了在覆盖良好的事实上存在残留的验证偏差。
引用
@article{arxiv.2605.27564,
title = {The Future of Facts: Tracing the Factual Generation-Verification Gap},
author = {Tim R. Davidson and Anja Surina and Caglar Gulcehre},
journal= {arXiv preprint arXiv:2605.27564},
year = {2026}
}
备注
Code for this project is available at https://github.com/anjasurina/factgap , blog post at https://www.trdavidson.com/fact-gap