Kwai-STaR：将大语言模型转化为状态转换推理器
计算与语言
2024-11-13 v2 人工智能
摘要
数学推理是大语言模型 (LLM) 认知能力面临的重大挑战。已提出多种方法来增强 LLM 的数学能力，但很少人认识到状态转换对 LLM 推理的价值。本文将数学问题解决定义为从初始未解决状态到最终解决状态的转换过程，并提出 Kwai-STaR 框架，将 LLM 转化为 State-Transition Reasoner，以提高其直观推理能力。我们的 метод由三个主要步骤组成：(1) 针对数学推理定义状态空间。(2) 基于状态空间生成状态转换数据。(3) 通过课程训练策略将原始 LLM 转换为状态转换推理器。我们的实验验证了 Kwai-STaR 在增强数学推理方面的有效性：在小规模 Kwai-STaR 数据集上训练后，包括 Mistral-7B 和 LLaMA-3 在内的通用 LLM 在 GSM8K 和 GSM-Hard 数据集上均实现了显著的性能提升。此外，基于状态转换的设计使 Kwai-STaR 具备出色的训练和推理效率。进一步的实验正在进行中，以确立 Kwai-STaR 的通用性。
引用
@article{arxiv.2411.04799,
title = {Kwai-STaR: Transform LLMs into State-Transition Reasoners},
author = {Xingyu Lu and Yuhang Hu and Changyi Liu and Tianke Zhang and Zhenyu Yang and Zhixiang Ding and Shengsheng Qian and Meng Du and Ruiwen Kang and Kaiyu Tang and Fan Yang and Tingting Gao and Di Zhang and Hai-Tao Zheng and Bin Wen},
journal= {arXiv preprint arXiv:2411.04799},
year = {2024}
}
备注
6 pages, 2 figures