非洲语言实验室：致力于发展低资源非洲 NLP 的协作方法
计算与语言
2025-10-08 v1 人工智能
摘要
尽管代表世界语言的三分之一，非洲语言在现代 NLP 技术中仍严重不被服务，其中88%被分类为严重欠represent或完全被忽视。我们提出了非洲语言实验室（All Lab），是一个综合性研究计划，通过系统数据收集、模型开发和能力建设来解决这一技术差距。我们的贡献包括：（1）质量受控的数据收集管道，产生了覆盖40种语言的、最大validated的非洲多模态语音和文本数据集，包含190亿个单语文本和12628小时的对齐语音数据；（2）广泛的实验验证表明，我们的数据集结合微调，在31种评估语言上平均提高了+23.69 ChrF++、+0.33 COMET和+15.34 BLEU分数；（3）结构化的研究计划成功培养了15名初级研究人员，建立了可持续的本地能力。我们的比较评估表明，针对几种语言，Google翻译表现出竞争性能，但也确定了需要继续发展的领域。
引用
@article{arxiv.2510.05644,
title = {The African Languages Lab: A Collaborative Approach to Advancing Low-Resource African NLP},
author = {Sheriff Issaka and Keyi Wang and Yinka Ajibola and Oluwatumininu Samuel-Ipaye and Zhaoyi Zhang and Nicte Aguillon Jimenez and Evans Kofi Agyei and Abraham Lin and Rohan Ramachandran and Sadick Abdul Mumin and Faith Nchifor and Mohammed Shuraim and Lieqi Liu and Erick Rosas Gonzalez and Sylvester Kpei and Jemimah Osei and Carlene Ajeneza and Persis Boateng and Prisca Adwoa Dufie Yeboah and Saadia Gabriel},
journal= {arXiv preprint arXiv:2510.05644},
year = {2025}
}