通过显式工作记忆提升事实准确性
计算与语言
2025-06-03 v3
摘要
大型语言模型可生成事实不准确的内容，称为幻觉。最近的研究基于检索增强生成构建，通过迭代提示提高事实准确性，但这些方法受限于传统 RAG 设计。为解决这些挑战，我们引入 EWE（Explicit Working Memory），一种新方法，通过集成工作记忆并接收外部资源的实时反馈来提高长文本生成的事实准确性。该记忆根据在线 fact-checking 和检索反馈进行刷新，允许 EWE 在生成过程中纠正错误的声明，确保更准确和可靠的输出。我们的实验表明，EWE 在四个 seeking 长文本生成数据集上优于强大的基线，通过 2-6 分的绝对值提升 VeriScore 事实准确性指标，而不牺牲响应的有用性。进一步分析揭示，记忆更新规则的设计、记忆单元的配置以及检索数据存储的质量是影响模型性能的关键因素。
引用
@article{arxiv.2412.18069,
title = {Improving Factuality with Explicit Working Memory},
author = {Mingda Chen and Yang Li and Karthik Padthe and Rulin Shao and Alicia Sun and Luke Zettlemoyer and Gargi Ghosh and Wen-tau Yih},
journal= {arXiv preprint arXiv:2412.18069},
year = {2025}
}
备注
ACL 2025 Camera Ready