SAAS：解决能力放大策略以提升大型语言模型的数学推理能力
计算与语言
2024-10-03 v4 人工智能
摘要
本研究提出了一种新颖的学习方法，用于增强大型语言模型 (LLM) 的数学推理和问题解决能力。我们聚焦于整合链式思维 (Chain-of-Thought, CoT) 和程序思维 (Program-of-Thought, PoT) 学习，假设优先学习数学推理能力有助于问题解决能力的放大。因此，针对解决具有挑战性数学问题的初始学习至关重要。为此，我们提出了一种顺序学习方法，称为 SAAS (Solving Ability Amplification Strategy)， strategically 过渡从 CoT 学习到 PoT 学习。我们的实证研究包括广泛的性能比较，使用多个基准测试，表明 SAAS 实现了最先进 (SOTA) 的性能。结果强调了该顺序学习方法的有效性，标志着该领域数学推理能力在 LLM 方面的重大进展。
引用
@article{arxiv.2404.03887,
title = {SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models},
author = {Hyeonwoo Kim and Gyoungjin Gim and Yungi Kim and Jihoo Kim and Byungju Kim and Wonseok Lee and Chanjun Park},
journal= {arXiv preprint arXiv:2404.03887},
year = {2024}
}
备注
Accepted to EMNLP 2024 Industry Track