通过跨度级微调提升抽象摘要的忠实性
计算与语言
2025-10-14 v1
摘要
使用大型语言模型（LLM）的抽象摘要已成为信息浓缩的重要工具。然而，尽管这些模型能够生成流畅的摘要，它们有时会产生不忠实的摘要，在词、短语或概念层面引入幻觉。现有的缓解策略，如后处理纠正或使用合成生成的负样本进行对比学习，未能完全解决LLM生成摘要中可能出现的多样化错误。本文我们研究了减少生成摘要中不忠实跨度发生的微调策略。首先，我们使用多种LLM为训练集中源文档自动生成摘要，然后利用GPT-4o对其检测到的任何幻觉进行跨度级标注。基于这些标注，我们使用既无幻觉摘要又带有标注的不忠实跨度来微调LLM，以提高模型的忠实性。在本文中，我们引入了一个包含忠实与不忠实摘要且带有跨度级标签的新数据集，并我们评估了三种技术来微调LLM以提高所得摘要的忠实性：梯度上升、逆概率训练和任务向量否定。实验结果表明，所有三种方法都成功地利用了跨度级标注来提高了忠实性，其中逆概率训练最为有效。
引用
@article{arxiv.2510.09915,
title = {Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning},
author = {Sicong Huang and Qianqi Yan and Shengze Wang and Ian Lane},
journal= {arXiv preprint arXiv:2510.09915},
year = {2025}
}