什么构成了GPT-3的良好上下文示例？
计算与语言
2021-01-19 v1
摘要
GPT-3因其在广泛NLP任务上的优越性能而备受关注，尤其是其强大且通用的上下文少样本学习能力。尽管取得了成功，我们发现GPT-3的经验结果严重依赖于上下文示例的选择。在这项工作中，我们研究是否存在比随机采样更有效的策略，以明智地选择上下文示例，从而更好地发挥GPT-3的少样本能力。受近期利用检索模块增强大规模神经网络模型成功的启发，我们提出检索与测试样本语义相似的示例来构建其对应的提示。直观上，以此策略选择的上下文示例可作为更具信息量的输入，以释放GPT-3的广博知识。我们在多个自然语言理解与生成基准上评估了所提方法，基于检索的提示选择方法始终优于随机基线。此外，观察到在任务相关数据集上微调的句子编码器能产生更有帮助的检索结果。值得注意的是，在表到文本生成（ToTTo数据集上41.9%）和开放域问答（NQ数据集上45.5%）等任务上观察到了显著提升。我们希望我们的研究有助于理解GPT-3及大规模预训练语言模型的一般行为，并增强其少样本能力。
引用
@article{arxiv.2101.06804,
title = {What Makes Good In-Context Examples for GPT-$3$?},
author = {Jiachang Liu and Dinghan Shen and Yizhe Zhang and Bill Dolan and Lawrence Carin and Weizhu Chen},
journal= {arXiv preprint arXiv:2101.06804},
year = {2021}
}