释放创造性思维：将语言模型作为分层策略以改进挑战性问题的求解探索
人工智能
2023-12-07 v2 计算与语言
摘要
大语言模型（LLMs）已取得巨大进展，但仍常在具有挑战性的推理问题上表现不佳。当前方法通过采样或搜索细致且低级的推理链来应对该挑战。然而，这些方法的探索能力依然有限，使得正确解难以在巨大解空间中脱颖而出。本工作中，我们通过上下文学习将 LLM 构建为分层策略，释放其探索多种不同问题求解策略的创造潜力。该策略包含一个提出多种不同高级问题求解策略作为提示的远见领导者，以及一名遵循各项高级指令执行细致问题求解过程的跟随者。跟随者以领导者的每条指令为引导，采样多条推理链处理问题，为每项领导者提案生成解组。此外，我们提出一种高效且有效的基于锦标赛的方法，在这些被探索的解组中选择以得出最终答案。我们的方法产生有意义且具启发性的提示，增强了问题求解策略探索，并提升了在 MATH 数据集上挑战性问题的最后答案准确率。代码将发布于 https://github.com/lz1oceani/LLM-As-Hierarchical-Policy。
引用
@article{arxiv.2311.00694,
title = {Unleashing the Creative Mind: Language Model As Hierarchical Policy For Improved Exploration on Challenging Problem Solving},
author = {Zhan Ling and Yunhao Fang and Xuanlin Li and Tongzhou Mu and Mingu Lee and Reza Pourreza and Roland Memisevic and Hao Su},
journal= {arXiv preprint arXiv:2311.00694},
year = {2023}
}