BLooP:使用大语言模型进行零样本抽象摘要的双gram 前瞻策略
计算与语言
2026-03-13 v1
摘要
抽象摘要需要模型生成传达源文档信息的摘要。虽然大语言模型可以在不微调的情况下生成摘要,但常常遗漏关键细节并包含冗余信息。我们提出 BLooP(双gram 前瞻策略),这是一种简单无训练的解码干预,鼓励大语言模型生成来自源文档的双gram。BLooP 通过哈希表查找在每个解码步骤中工作,不需要训练、微调或模型修改。我们在 CNN/DM、CCSum、Multi-News 和 SciTLDR 上针对 Llama-3.1-8B-Instruct、Mistral-Nemo-Instruct-2407 和 Gemma-2-9b-it 显示出在 ROUGE 和 BARTScore 方面的改进。人类评估表明,BLooP 在忠实性方面显著提高,而不降低可读性。我们在 https://github.com/varuniyer/BLooP 上提供了代码。
引用
@article{arxiv.2603.11415,
title = {BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion},
author = {Varun Iyer and Cornelia Caragea},
journal= {arXiv preprint arXiv:2603.11415},
year = {2026}
}
备注
LREC 2026