长文本生成中的精确信息控制
计算与语言
2025-10-02 v2
摘要
语言模型 (LMs) 的核心挑战之一是忠实度幻觉：生成由输入上下文所不支持的信息。为研究此问题，我们提出了精确信息控制 (PIC)，一种新的任务表述，要求模型在不添加任何不受支持信息的前提下，基于提供的一组简短自包含语句生成长篇输出。PIC 包括测试模型准确包含所有输入声明的完整设置，以及要求模型仅选择性地纳入相关声明的部分设置。我们present了 PIC-Bench，这是一组八个适用于 PIC 设置的长形式生成任务（例如摘要生成、传记生成），LM 在这些任务中接收到格式良好、可验证的输入声明。我们对一范围的开源和专有 LM 在 PIC-Bench 上的评估显示，惊讶的是，最先进的 LM 在超过 70% 的生成中仍会针对用户提供的输入进行幻觉。为缓解这种缺乏忠实度， 我们引入了一种后训练框架，使用弱监督偏好数据构建方法训练一个 8B 参数的 PIC-LM， 在完整 PIC 设置下的 F1 分数从 69.1% 提升至 91.0%。当集成到面向 end-to-end 事实生成管道中时，PIC-LM 在含歧义 QA with 检索任务中的 exact match recall 提升了 17.1%， 在生物地点事实核查任务中的事实精度提升了 30.5%，凸显了精确依托生成的潜力。
引用
@article{arxiv.2506.06589,
title = {Precise Information Control in Long-Form Text Generation},
author = {Jacqueline He and Howard Yen and Margaret Li and Shuyue Stella Li and Zhiyuan Zeng and Weijia Shi and Yulia Tsvetkov and Danqi Chen and Pang Wei Koh and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2506.06589},
year = {2025}
}
备注
NeurIPS 2025. 66 pages, 8 figures. Code is at https://github.com/jacqueline-he/precise-information-control