多语言数学推理：推动印度语和英语开源大语言模型的数学推理能力
计算与语言
2024-12-25 v1 人工智能
摘要
大型语言模型（LLM）在语言任务中表现出色，但在非英语语言（如印地语）的数学推理方面仍面临挑战。本研究旨在提升较小且资源高效的开源大语言模型在印地语和英语两种语言中的数学推理能力。我们评估了 OpenHathi 7B、LLaMA-2 7B、WizardMath 7B、Mistral 7B、LLeMMa 7B、MAmmoTH 7B、Gemini Pro 和 GPT-4 等模型，采用零样本、少样本链式思维（CoT）方法以及监督式微调。我们的方法包括课程学习（逐渐训练于越来越难的问题）、一种简化复杂算术运算的 novel 分解策略（Decomposition Strategy），以及将解决方案划分为阶段的结构化解题设计（Structured Solution Design）。我们的实验结果显示，性能显著提升。WizardMath 7B 在英语数据集上的准确率超过 Gemini 提高了 +6%，在印地语数据集上与 Gemini 的表现持平。采用双语方法结合英语和印地语样本，可获得与单语言模型相当的效果，表明模型能够在两种语言中学习数学推理。该研究突显了提升开源大语言模型数学推理能力的潜力。
引用
@article{arxiv.2412.18415,
title = {Multilingual Mathematical Reasoning: Advancing Open-Source LLMs in Hindi and English},
author = {Avinash Anand and Kritarth Prasad and Chhavi Kirtani and Ashwin R Nair and Manvendra Kumar Nema and Raj Jaiswal and Rajiv Ratn Shah},
journal= {arXiv preprint arXiv:2412.18415},
year = {2024}
}
备注
Accepted at AAAI 2025