上下文感知解码减少查询聚焦摘要中的幻觉

查询聚焦摘要 (Query-focused Summarization, QFS) 旨在提供单文档或多文档的摘要，以满足给定查询的信息需求。它适用于各种现实世界应用，如抽象片段生成或较新的检索增强生成 (RAG)。典型的 QFS 流程包括检索器（稀疏或稠密检索）和生成器（通常为大语言模型）。然而，应用大语言模型 (LLM) 可能会导致幻觉，尤其是当证据与大语言模型的先验信念相矛盾时。人们越来越有兴趣开发新的解码方法以提高生成质量并减少幻觉。在本工作中，我们对最近提出的一种解码方法——上下文感知解码 (Context-aware Decoding, CAD) 进行了大规模的可复现性研究。除了在新闻摘要数据集上复现 CAD 的实验外，我们还在 QFS 数据集上进行了实验，并对计算复杂度和超参数敏感性进行了更严格的分析。对八种不同语言模型的实验表明，在性能方面，CAD 通过 (1) 减少事实性错误/幻觉，同时 (2) 基本保持词汇模式的匹配（由 ROUGE 分数衡量），提高了 QFS 质量，但也付出了推理时 FLOPs 增加和解码速度降低的代价。基于 Huggingface Library 的代码实现已公开：https://github.com/zhichaoxu-shufe/context-aware-decoding-qfs。