Think&Cite：通过自指树搜索和进度奖励建模提升归因文本生成
计算与语言
2025-06-23 v2
摘要
尽管大型语言模型（LLM）在各方面表现出色，但容易产生幻觉并生成事实错误信息。这一挑战催生了归因文本生成的研究，即引导 LLM 生成带有支持证据的内容。本文提出一种新框架，称为 Think&Cite，将归因文本生成表述为集成搜索的多步骤推理问题。具体而言，我们提出自指蒙特卡洛树搜索（SG-MCTS），利用 LLM 的自反思能力，对 MCTS 中间状态进行推理，以指导树的扩展过程。为提供可靠且全面的反馈，我们引入进度奖励建模，从两个方面衡量树搜索从根到当前状态的进度，即生成进度和归因进度。我们在三个数据集上进行大量实验，结果表明该方法显著优于基线方法。
引用
@article{arxiv.2412.14860,
title = {Think&Cite: Improving Attributed Text Generation with Self-Guided Tree Search and Progress Reward Modeling},
author = {Junyi Li and Hwee Tou Ng},
journal= {arXiv preprint arXiv:2412.14860},
year = {2025}
}
备注
ACL 2025