重排示例有助于基于提示的少样本学习

从有限数据中学习（即少样本学习）的能力，是自然语言处理系统的一项理想且常常关键的要求。虽然许多现有方法在从少量示例中学习时表现不佳，但大型预训练语言模型最近被证明是高效的少样本学习器。少样本学习的一种无需微调模型参数的方法，是用提示文本增强语言模型的输入，该提示文本通常由任务特定描述和示例构成。在这项工作中，我们进一步探索基于提示的少样本学习，重点在于使用示例作为提示。我们表明，以正确的顺序呈现示例是泛化的关键。我们提出了 PERO（以正确顺序使用示例进行提示，Prompting with Examples in the Right Order），其中我们将少样本学习表述为对训练示例排列集合的搜索。我们表明，与现有方法相比，PERO 可以使用少至 10 个示例高效地学习泛化。虽然换行符是分隔提示中示例的自然选择，但我们表明学习一个新的分隔符标记有可能进一步提升性能。我们在情感分类、自然语言推理和事实检索任务上展示了所提方法的有效性。最后，我们分析了学习到的提示以揭示新的见解，包括仅两个按正确顺序排列的训练示例就能为情感分类和自然语言推理提供有竞争力的性能这一想法。