Hint-before-Solving Prompting：引导大语言模型有效利用编码知识
计算与语言
2024-02-23 v1
摘要
大语言模型（LLMs）最近在各个领域展现了卓越的泛化能力。尽管拥有广泛的知识，LLMs 在高效利用编码知识以构建准确且符合逻辑的推理过程方面仍面临挑战。为缓解这一问题，我们引入了 Hint-before-Solving Prompting (HSP)，该方法引导模型先生成解决问题的提示（例如特定知识或关键思路），然后生成包含中间推理步骤的解决方案。由于 HSP 与提示方法（如思维链 Chain-of-Thought, CoT）正交，我们将 HSP 应用于 CoT、Least-to-Most、Plan-and-Solve 和 Standard 提示法。在 6 个推理基准测试和 4 个开源 LLMs 上进行的大量实验结果表明，HSP 能有效提高推理任务的准确性：(1) 通过将高质量提示增强的 HSP 应用于 CoT 提示法，Llama2-70B-Chat 的性能提升了 9.7。(2) 除了探索免训练 LLM 能力外，我们基于 HSP 构建了 HSPMATH 数据集并微调了 Llemma-7B，达到了 64.3 的准确率，超越了 GPT-3.5 和 WizardMath-13B。我们的代码和数据集已在 \url{https://github.com/jinlanfu/HSP} 公开。
引用
@article{arxiv.2402.14310,
title = {Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge},
author = {Jinlan Fu and Shenzhen Huangfu and Hang Yan and See-Kiong Ng and Xipeng Qiu},
journal= {arXiv preprint arXiv:2402.14310},
year = {2024}
}
备注
18 pages