中文

BLooP:使用大语言模型进行零样本抽象摘要的双gram 前瞻策略

计算与语言 2026-03-13 v1

摘要

抽象摘要需要模型生成传达源文档信息的摘要。虽然大语言模型可以在不微调的情况下生成摘要,但常常遗漏关键细节并包含冗余信息。我们提出 BLooP(双gram 前瞻策略),这是一种简单无训练的解码干预,鼓励大语言模型生成来自源文档的双gram。BLooP 通过哈希表查找在每个解码步骤中工作,不需要训练、微调或模型修改。我们在 CNN/DM、CCSum、Multi-News 和 SciTLDR 上针对 Llama-3.1-8B-Instruct、Mistral-Nemo-Instruct-2407 和 Gemma-2-9b-it 显示出在 ROUGE 和 BARTScore 方面的改进。人类评估表明,BLooP 在忠实性方面显著提高,而不降低可读性。我们在 https://github.com/varuniyer/BLooP 上提供了代码。

关键词

引用

@article{arxiv.2603.11415,
  title  = {BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion},
  author = {Varun Iyer and Cornelia Caragea},
  journal= {arXiv preprint arXiv:2603.11415},
  year   = {2026}
}

备注

LREC 2026