用于闭卷长式问答的查询精化提示
计算与语言
2022-11-01 v1
摘要
大型语言模型（LLMs）已在少样本闭卷设定下的问答和长式文本生成任务中表现出良好性能。前者可使用众所周知的评估指标进行验证，而后者难以评估。我们通过同时完成两项任务——即进行需要长式答案的问答——来解决长式输出评估的困难。此类问题往往具有多面性，即可能存在歧义且/或需要来自多个来源的信息。为此，我们定义了查询精化提示，以鼓励 LLMs 显式表达问题中的多面性并生成涵盖问题多个方面的长式答案。我们在两个长式问答数据集 ASQA 和 AQuAMuSe 上的实验表明，使用我们的提示可在闭卷设定下优于完全微调的模型，并取得与检索后生成的开卷模型相当的结果。
引用
@article{arxiv.2210.17525,
title = {Query Refinement Prompts for Closed-Book Long-Form Question Answering},
author = {Reinald Kim Amplayo and Kellie Webster and Michael Collins and Dipanjan Das and Shashi Narayan},
journal= {arXiv preprint arXiv:2210.17525},
year = {2022}
}