重新思考示例的作用：上下文学习为何有效
计算与语言
2022-10-21 v2 人工智能
摘要
大型语言模型（LMs）能够进行上下文学习——仅通过推理，在少量输入-标签对（示例）的条件下对新输入进行预测，从而执行新任务。然而，人们对于模型如何学习以及示例的哪些方面有助于最终任务性能知之甚少。在本文中，我们表明事实上并不需要真实的标签示例——在示例中随机替换标签在一系列分类和多项选择题任务上几乎不会损害性能，在包括 GPT-3 在内的 12 个不同模型上表现一致。相反，我们发现示例的其他方面是最终任务性能的关键驱动因素，包括它们提供了以下几方面的少量样本：(1) 标签空间，(2) 输入文本的分布，以及 (3) 序列的整体格式。总体而言，我们的分析提供了一种理解上下文学习如何及为何生效的新方式，同时也提出了关于仅通过推理能从大型语言模型中学到多少的新问题。
引用
@article{arxiv.2202.12837,
title = {Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?},
author = {Sewon Min and Xinxi Lyu and Ari Holtzman and Mikel Artetxe and Mike Lewis and Hannaneh Hajishirzi and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2202.12837},
year = {2022}
}
备注
17 pages; 12 figures. Published as a conference paper at EMNLP 2022 (long). Code available at https://github.com/Alrope123/rethinking-demonstrations