面向大语言模型的提示编程：超越少样本范式
计算与语言
2021-02-16 v1 人工智能
摘要
将大型生成式语言模型映射到监督任务的流行方法可能不足以充分探查模型的新能力。以 GPT-3 为案例，我们展示了 0-shot 提示可以显著优于 few-shot 提示。我们提出，在这些情况下 few-shot 示例的作用更好地被描述为定位一个已学习的任务，而非元学习。该分析促使我们重新思考提示在控制和评估强大语言模型中的作用。在本文中，我们讨论提示编程的方法，强调通过自然语言视角考量提示的实用性。我们探索利用叙事和文化锚点来编码细微意图的技术，以及鼓励在给出判断前将问题解构为若干组成部分的技术。受这一更具包容性的提示编程理论启发，我们还引入了元提示（metaprompt）的概念，其种子化模型以为一系列任务生成自身的自然语言提示。最后，我们讨论如何将这些更通用的语言模型交互方法纳入现有及未来的基准测试和实际应用中。
引用
@article{arxiv.2102.07350,
title = {Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm},
author = {Laria Reynolds and Kyle McDonell},
journal= {arXiv preprint arXiv:2102.07350},
year = {2021}
}