利用思维链推理的大语言模型求解孟加拉语数学应用题
计算与语言
2025-07-31 v2 机器学习
摘要
求解孟加拉语数学应用题 (MWPs) 仍然是自然语言处理 (NLP) 领域的一项重大挑战，这归因于该语言的低资源状态以及所需的多步推理。现有模型在处理复杂的孟加拉语 MWPs 时面临困难，主要因为此前没有人工标注的孟加拉语数据集来应对这一任务。这一空白限制了孟加拉语数学推理的进展。为解决此问题，我们创建了 SOMADHAN，一个包含 8792 道复杂孟加拉语 MWPs 的数据集，并附带手写的分步解答。我们设计该数据集以在语言资源不足的背景下支持以推理为核心的评估与模型开发。利用 SOMADHAN，我们评估了一系列大语言模型 (LLMs)——包括 GPT-4o、GPT-3.5 Turbo、LLaMA 系列模型、Deepseek 和 Qwen——采用带有和不带有思维链 (CoT) 推理的零样本与少样本提示。CoT 提示相较于标准提示持续提升了性能，尤其是在需要多步逻辑的任务中。LLaMA-3.3 70B 在少样本 CoT 提示下取得了 88% 的最高准确率。我们还应用了低秩适应 (LoRA) 来高效微调模型，使其能以极低的计算成本适应孟加拉语 MWPs。我们的工作通过提供高质量的推理数据集和解决复杂 MWPs 的可扩展框架，填补了孟加拉语 NLP 的关键空白。我们旨在推进低资源语言的公平研究，并增强教育及语言技术中的推理能力。
引用
@article{arxiv.2505.21354,
title = {Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning},
author = {Bidyarthi Paul and Jalisha Jashim Era and Mirazur Rahman Zim and Tahmid Sattar Aothoi and Faisal Muhammad Shah},
journal= {arXiv preprint arXiv:2505.21354},
year = {2025}
}