InkubaLM：面向低资源非洲语言的小型语言模型
计算与语言
2024-09-04 v2
摘要
高资源语言模型在非洲语境下往往表现不佳；在非洲，即便面临严峻的计算与数据约束，也迫切需要高效、易获取且具有本地相关性的模型。本文介绍了 InkubaLM，一个具有 4 亿参数的小型语言模型，其在机器翻译、问答、AfriMMLU 和 AfriXnli 任务上的性能可与参数量显著更大、训练数据更广泛的模型相媲美。值得注意的是，InkubaLM 在情感分析任务中优于许多更大的模型，并在多种语言上展现出显著的一致性。这项工作挑战了“有效的语言模型必须依赖大量资源”这一传统范式，代表了一项关键进展。我们的模型和数据集已在 https://huggingface.co/lelapa 公开提供，以鼓励对低资源语言的研究与开发。
引用
@article{arxiv.2408.17024,
title = {InkubaLM: A small language model for low-resource African languages},
author = {Atnafu Lambebo Tonja and Bonaventure F. P. Dossou and Jessica Ojo and Jenalea Rajab and Fadel Thior and Eric Peter Wairagala and Anuoluwapo Aremu and Pelonomi Moiloa and Jade Abbott and Vukosi Marivate and Benjamin Rosman},
journal= {arXiv preprint arXiv:2408.17024},
year = {2024}
}