提升非洲语言多语言数学推理能力
计算与语言
2025-05-27 v1
摘要
从事低资源语言工作的研究人员面临数据稀缺和计算资源受限的持续挑战。尽管大型语言模型(LLM)主要在高资源语言上进行训练，但将其适应低资源语境，特别是非洲语言，需要专业化技术。当今LLM生态系统中，针对低资源语言的模型适应策略主要包括多阶段预训练和后训练范式。然而，最有效的方法仍不明确。本工作系统性地调查哪些适应策略在将现有LLM扩展到非洲语言时能获得最佳性能。我们进行大量实验和消融研究，以评估不同数据类型（翻译版 versus 人工合成）、训练阶段（预训练 versus 后训练）以及其他模型适应配置的不同组合。我们的实验聚焦于数学推理任务，使用Llama 3.1模型系列作为基础模型。
引用
@article{arxiv.2505.19848,
title = {Improving Multilingual Math Reasoning for African Languages},
author = {Odunayo Ogundepo and Akintunde Oladipo and Kelechi Ogueji and Esther Adenuga and David Ifeoluwa Adelani and Jimmy Lin},
journal= {arXiv preprint arXiv:2505.19848},
year = {2025}
}