细粒度自我背书提升事实性与推理能力
计算与语言
2024-02-27 v1 人工智能
摘要
本研究致力于通过在推理阶段减轻与事实冲突的幻觉来改进大型语言模型 (LLM) 的生成。具体而言，我们提出了一种自我背书框架，利用多个采样响应之间细粒度的事实级比较。与先前执行响应级选择的集成方法（Wang et al., 2022; Chen et al., 2023）相比，我们的方法能更好地缓解幻觉，尤其是对于长文本生成任务。由于我们的方法主要进行简单的基于内容的比较，因此可以广泛惠及较小规模和开源的 LLM。在传记 (Biographies) 数据集上的实验表明，我们的方法可以通过简单直观的提示，在不同规模的 LLM 上有效提升生成的事实性。此外，对 TriviaQA 和 GSM8K 的综合分析展示了自我背书在更广泛应用中的潜力。
引用
@article{arxiv.2402.15631,
title = {Fine-Grained Self-Endorsement Improves Factuality and Reasoning},
author = {Ante Wang and Linfeng Song and Baolin Peng and Ye Tian and Lifeng Jin and Haitao Mi and Jinsong Su and Dong Yu},
journal= {arXiv preprint arXiv:2402.15631},
year = {2024}
}