通过滑动生成与自一致性提升大语言模型在摘要生成中的忠实性
计算与语言
2024-08-01 v1 人工智能
摘要
尽管大语言模型（LLM）在各种任务中已展现出令人瞩目的性能，但它们仍然受到称为幻觉的事实不一致问题的困扰。例如，LLM 有时会生成与源文章不一致的内容，并且倾向于从上下文的开头和结尾提取信息，尤其是在长文档摘要生成中。受这些发现的启发，我们提出通过促使 LLM 更公平、更忠实地处理全文来提升摘要生成中的忠实性。我们提出了一种新的摘要生成策略 SliSum，它利用滑动窗口和自一致性的思想。具体而言，SliSum 将源文章划分为重叠窗口，并利用 LLM 为窗口内容生成局部摘要。最后，SliSum 使用聚类和多数投票算法聚合所有局部摘要，以生成对整个文章更忠实的摘要。大量实验表明，SliSum 显著提升了包括 LLaMA-2、Claude-2 和 GPT-3.5 在内的多种 LLM 在短文本和长文本摘要生成中的忠实性，同时保持了其流畅性和信息性，且无需额外的微调与资源。我们进一步进行了定性和定量研究，以探究 SliSum 有效的原因以及 SliSum 中超参数对性能的影响。
引用
@article{arxiv.2407.21443,
title = {Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency},
author = {Taiji Li and Zhi Li and Yin Zhang},
journal= {arXiv preprint arXiv:2407.21443},
year = {2024}
}
备注
Long paper accepted at LREC-COLING 2024 (oral)