“根据……”：提示语言模型改善对预训练数据的引用
计算与语言
2024-02-28 v2 人工智能
摘要
大型语言模型（LLMs）尽管在事实数据上进行了预训练，仍可能产生幻觉并生成虚假信息。受新闻写作中“据消息来源”手法的启发，我们提出 according-to 提示（according-to prompting）：引导 LLMs 将回答基于先前观察到的文本进行 grounding。为量化这种 grounding，我们提出一种新颖的评估指标（QUIP-Score），用于衡量模型生成的答案在底层文本语料中直接出现的程度。我们在三个语料库（Wikipedia、PubMed 和美国法律税法典）上的实验表明，这些提示在我们的指标下改善了 grounding，并额外带来通常提升端任务性能的好处。此外，要求模型降低 grounding（或 grounding 到其他语料库）的提示确实降低了 QUIP-Score，表明 LLMs 能够按需增加或减少 grounded 生成的能力。
引用
@article{arxiv.2305.13252,
title = {"According to ...": Prompting Language Models Improves Quoting from Pre-Training Data},
author = {Orion Weller and Marc Marone and Nathaniel Weir and Dawn Lawrie and Daniel Khashabi and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2305.13252},
year = {2024}
}
备注
Accepted to EACL 2024