Self-Polish：通过问题精炼增强大语言模型的推理能力
计算与语言
2024-04-19 v2 人工智能
摘要
为增强大语言模型的多步推理能力，研究人员广泛探索了提示方法，尤其是显式引出类人推理链的 Chain-of-Thought（CoT）方法。然而，他们无意中忽视了通过构建更高质量问题来提升模型推理性能的潜力。在本工作中，我们从问题侧出发，提出 Self-Polish（SP），一种通过引导模型逐步将给定问题精炼得更易理解和可解，从而促进其推理的新颖方法。我们还探索了若干自动提示变体，并为社区提出了 Self-Polish 提示库。SP 与 CoT 等所有答案/推理侧的其它提示方法正交，可无缝集成最先进技术以进一步提升。充分实验表明，所提方法在不同模型的五个推理基准上均取得显著且一致的效果。此外，我们的方法在鲁棒性评估中也展现出令人印象深刻的性能。代码与提示见 https://github.com/WooooDyy/Self-Polish。
引用
@article{arxiv.2305.14497,
title = {Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement},
author = {Zhiheng Xi and Senjie Jin and Yuhao Zhou and Rui Zheng and Songyang Gao and Tao Gui and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2305.14497},
year = {2024}
}
备注
Accepted to EMNLP 2023 Findings. Codes and prompts are available at https://github.com/WooooDyy/Self-Polish