基于大型语言模型的逐步自洽数学推理
人工智能
2024-02-29 v1 计算与语言
机器学习
摘要
利用大型语言模型进行复杂数学推理是困难的，主要是由于多步推理的复杂性。该过程的主要挑战包括：(1) 选择关键的中间结果以推进过程，以及 (2) 对潜在解的探索有限。为解决这些问题，我们引入了一种新颖的算法，即逐步自洽思维链（SSC-CoT）。SSC-CoT 采用基于不同推理链交集来选择中间步骤的策略。此外，SSC-CoT 使模型能够通过查询包含相关领域知识的知识图谱来发现关键的中间步骤。为了验证 SSC-CoT，我们提出了一个新的数据集 TriMaster100，专为复杂三角学问题量身定制。该数据集包含 100 个问题，每个解都被分解为评分的中间步骤，便于对数学推理过程进行全面评估。在 TriMaster100 上，SSC-CoT 的效果是最先进方法的三倍。此外，我们在广泛认可的复杂数学问题数据集 MATH level 5 上对 SSC-CoT 进行了基准测试，其准确率比第二好的方法高出 7.2%。代码和 TriMaster100 数据集可在以下网址找到：https://github.com/zhao-zilong/ssc-cot。
引用
@article{arxiv.2402.17786,
title = {Stepwise Self-Consistent Mathematical Reasoning with Large Language Models},
author = {Zilong Zhao and Yao Rong and Dongyang Guo and Emek Gözlüklü and Emir Gülboy and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2402.17786},
year = {2024}
}