只说你知道的：基于校准的长形式事实生成
计算与语言
2026-05-05 v1
摘要
大型推理模型在复杂任务上取得了强大的性能，但在长形式生成中仍容易产生幻觉，尤其是当错误在推理步骤之间累积时。现有的改进事实性方法，包括退让和事实导向优化，遵循一种\emph{耦合探索-承诺}范式，其中中间推理不加条件地传递到最终输出，限制了对信息选择和集成进行细粒度控制。在本文中，我们提出了一种\textbf{探索-承诺解耦}范式，将知识探索与最终承诺分离，使模型能够在了解的同时进行谨慎的回答。我们以\textbf{校准感知生成 (CAG)} 的方式实现了该范式，该框架通过增强中间推理以校准可靠性估计，并优先选择可靠内容于最终输出中，使模型具备端到端的校准感知生成能力。在五个长形式事实性基准测试和多个模型家族上，CAG 在事实性方面提高了最高可达 13%，同时将解码时间缩短了最高可达 37%。总体而言，我们的工作突显了解耦作为更可靠长形式生成的原则方法，为可信赖且自我知情的生成系统提供了方向。
引用
@article{arxiv.2605.01749,
title = {Only Say What You Know: Calibration-Aware Generation for Long-Form Factuality},
author = {Wen Luo and Guangyue Peng and Liang Wang and Nan Yang and Wei Li and Yuhan Song and Shaohang Wei and Feifan Song and Furu Wei and Houfeng Wang},
journal= {arXiv preprint arXiv:2605.01749},
year = {2026}
}