计划与求解提示：提升大语言模型的零样本思维链推理
计算与语言
2023-05-29 v3
摘要
大语言模型（LLMs）近来被证明在各种 NLP 任务中表现优异。为处理多步推理任务，少样本思维链（CoT）提示包含少量人工编写的逐步推理示例，使 LLMs 能显式生成推理步骤并提高其推理任务准确率。为消除人工成本，Zero-shot-CoT 将目标问题陈述与“让我们一步步思考”拼接作为 LLMs 的输入提示。尽管 Zero-shot-CoT 取得成功，它仍存在三类缺陷：计算错误、漏步错误和语义理解错误。为解决漏步错误，我们提出计划与求解（PS）提示。它包含两个组成部分：首先制定计划将整体任务划分为较小子任务，然后依据计划执行子任务。为解决计算错误并提升生成推理步骤的质量，我们用更详细的指令扩展 PS 提示并得到 PS+ 提示。我们在三个推理问题上的十个数据集评估了所提提示策略。基于 GPT-3 的实验结果表明，我们提出的零样本提示在所有数据集上始终大幅优于 Zero-shot-CoT，可与零样本程序思维提示相当或超越之，并在数学推理问题上与 8-shot CoT 提示性能相当。代码见 https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting。
引用
@article{arxiv.2305.04091,
title = {Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models},
author = {Lei Wang and Wanyu Xu and Yihuai Lan and Zhiqiang Hu and Yunshi Lan and Roy Ka-Wei Lee and Ee-Peng Lim},
journal= {arXiv preprint arXiv:2305.04091},
year = {2023}
}
备注
ACL 2023