由易到难提示使大语言模型具备复杂推理能力
人工智能
2023-04-18 v3 计算与语言
摘要
思维链提示已在多种自然语言推理任务上展现出卓越性能。然而，在需要求解比提示中所示示例更难的问题的任务上，其表现往往较差。为克服这一由易到难的泛化挑战，我们提出一种新颖的提示策略——由易到难提示（least-to-most prompting）。该策略的核心思想是将复杂问题分解为一系列更简单的子问题，然后依次求解。每个子问题的求解都借助于先前已解子问题的答案。我们在符号操作、组合泛化与数学推理相关任务上的实验结果表明，由易到难提示能够泛化到比提示中所见更难的问题。一个值得注意的发现是：当使用GPT-3 code-davinci-002模型配合由易到难提示时，仅需14个示例即可在任意划分（包括长度划分）的组合泛化基准SCAN上取得至少99%的准确率，而使用思维链提示时准确率仅16%。这一点尤为引人注目，因为文献中专门求解SCAN的神经-符号模型是在包含超过15,000个样例的整个训练集上训练的。我们在附录中给出了所有任务的提示。
引用
@article{arxiv.2205.10625,
title = {Least-to-Most Prompting Enables Complex Reasoning in Large Language Models},
author = {Denny Zhou and Nathanael Schärli and Le Hou and Jason Wei and Nathan Scales and Xuezhi Wang and Dale Schuurmans and Claire Cui and Olivier Bousquet and Quoc Le and Ed Chi},
journal= {arXiv preprint arXiv:2205.10625},
year = {2023}
}
备注
ICLR 2023