基于实体幻觉指数强化学习的摘要生成幻觉消除
计算与语言
2025-07-31 v1 人工智能
摘要
在 abstractive 摘要生成中消除幻觉生成仍是将语言模型 (LM) 部署到实际场景中的关键挑战。本文引入一种基于强化学习的微调框架，通过显式优化实体幻觉指数 (EHI) 来实现。EHI 是一个量化生成摘要中命名实体存在性、正确性和依托程度的指标。给定会议记录语料库，我们首先使用预训练 LM 生成基准摘要，并通过自动实体抽取和匹配计算 EHI 分数。随后应用强化学习对模型参数进行微调，以 EHI 作为奖励信号，引导生成过程向实体忠实输出倾斜。我们的做法不依赖人工编写的事实性标注，因而可实现可扩展的微调。实验结果表明，EHI 在各数据集上均实现一致提升，定性分析显示在不影响流畅度或信息丰富性的前提下，实体层面的幻觉生成显著减少。我们发布了可复现的 Colab 管道，促进基于 EHI 等轻量级幻觉指标的模型微调研究。
引用
@article{arxiv.2507.22744,
title = {Reducing Hallucinations in Summarization via Reinforcement Learning with Entity Hallucination Index},
author = {Praveenkumar Katwe and Rakesh Chandra and Balabantaray Kali and Prasad Vittala},
journal= {arXiv preprint arXiv:2507.22744},
year = {2025}
}
备注
8