退一步：在大型语言模型中通过抽象激发推理
机器学习
2024-03-13 v2 人工智能
计算与语言
摘要
我们提出 Step-Back Prompting，一种简单的提示技术，使 LLM 能够从包含具体细节的实例中进行抽象，推导出高层概念和第一性原理。利用这些概念和原理引导推理，LLM 在遵循正确推理路径通向解的能力上显著提升。我们使用 PaLM-2L、GPT-4 和 Llama2-70B 模型对 Step-Back Prompting 进行实验，并在包括 STEM、知识问答和多跳推理在内的多种具有挑战性的推理密集型任务上观察到显著的性能提升。例如，Step-Back Prompting 将 PaLM-2L 在 MMLU（物理和化学）上的性能分别提升 7% 和 11%，在 TimeQA 上提升 27%，在 MuSiQue 上提升 7%。
引用
@article{arxiv.2310.06117,
title = {Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models},
author = {Huaixiu Steven Zheng and Swaroop Mishra and Xinyun Chen and Heng-Tze Cheng and Ed H. Chi and Quoc V Le and Denny Zhou},
journal= {arXiv preprint arXiv:2310.06117},
year = {2024}
}
备注
ICLR 2024