重述并回答：让大语言模型为自己提出更好的问题
计算与语言
2024-04-22 v2 人工智能
机器学习
摘要
误解不仅出现在人际交流中，也出现在人类与大语言模型(LLMs)之间。此类偏差会使 LLM 以出乎意料的方式解释看似明确的问题，从而产生不正确的回答。尽管人们广泛认为提示（如问题）的质量显著影响 LLM 所提供回答的质量，但用于精心构造 LLM 能更好理解的问题的系统性方法仍不成熟。在本文中，我们提出一种名为“重述并回答”(Rephrase and Respond, RaR)的方法，它允许 LLM 对人类提出的问题进行重述和扩展，并在单个提示中提供回答。该方法作为一种简单而有效的提示方法可提升性能。我们还引入了 RaR 的两步变体，其中重述 LLM 先重述问题，然后将原问题与重述后的问题一同传递给另一个回答 LLM。这促进了一个 LLM 生成的重述问题被另一个有效利用。我们的实验表明，我们的方法在广泛任务上显著提升了不同模型的性能。我们进一步从理论和实证两方面对 RaR 与流行的思维链(Chain-of-Thought, CoT)方法进行了全面比较。我们表明 RaR 与 CoT 互补，且可与 CoT 结合以获得更好性能。我们的工作不仅有助于高效且有效地提升 LLM 性能，也为公平评估 LLM 能力提供了启示。数据和代码见 https://github.com/uclaml/Rephrase-and-Respond。
引用
@article{arxiv.2311.04205,
title = {Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves},
author = {Yihe Deng and Weitong Zhang and Zixiang Chen and Quanquan Gu},
journal= {arXiv preprint arXiv:2311.04205},
year = {2024}
}
备注
25 pages, 7 figures, 22 tables