通过大语言模型中的迭代自助法增强思维链提示
计算与语言
2024-03-18 v3 人工智能
摘要
大语言模型（LLMs）可通过引入逐步思维链（CoT）提示作为示范，在各种推理任务上取得高度有效的性能。然而，由 LLM 生成的示范推理链容易出错，这可能随后导致推理过程中的错误推理。此外，不恰当的示例（过于简单或复杂）会影响在不同难度层级上的整体表现。我们提出 Iter-CoT（思维链提示中的迭代自助法），一种用于选择示例和生成推理链的迭代自助方法。通过利用迭代自助，我们的方法使 LLM 能够自主纠正错误，从而产生更精确和全面的推理链。同时，我们的方法选择具有中等难度、具挑战性但可回答且附带推理链的问题作为示例，增强了 LLM 在不同难度层级上的泛化能力。实验结果表明，Iter-CoT 具有优越性，在十个数据集的三个不同推理任务上取得了有竞争力的性能。
引用
@article{arxiv.2304.11657,
title = {Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models},
author = {Jiashuo Sun and Yi Luo and Yeyun Gong and Chen Lin and Yelong Shen and Jian Guo and Nan Duan},
journal= {arXiv preprint arXiv:2304.11657},
year = {2024}
}
备注
Accepted by NAACL 2024 Findings