剪枝大语言模型在抽象式摘要中的幻觉现象研究

尽管生成式大语言模型（LLM）在抽象式摘要上表现优异，但它们面临两个重大挑战：模型规模庞大以及容易产生幻觉。幻觉令人担忧，因为它会削弱可靠性并引发安全问题。剪枝是一种通过移除冗余权重来缩减模型规模、实现更高效稀疏推理的技术。剪枝后的模型在下游任务上的性能可与原始模型相媲美，因此在资源受限时它们是理想的替代方案。然而，剪枝对 LLM 抽象式摘要中幻觉的影响尚待探索。在本文中，我们跨五个摘要数据集、两种最先进剪枝方法和五个指令微调 LLM 进行了广泛的实证研究。令人惊讶的是，我们发现剪枝后的 LLM 比原始模型更少出现幻觉。我们的分析表明，剪枝模型在生成摘要时往往更依赖于源文档。这导致生成摘要与源文档之间具有更高的词汇重叠度，这可能是幻觉风险降低的原因。