AfriNLLB:面向非洲语言的高效翻译模型
计算与语言
2026-02-11 v1
摘要
本文提出 AfriNLLB,一系列针对非洲语言的轻量级翻译模型。AfriNLLB 支持 15 种语言对(30 条翻译方向),包括斯瓦希里语、豪萨语、约鲁巴语、阿法哈米语、索马里语、祖鲁语、朗拉拉语、阿非利卡语、沃洛夫语和埃及阿拉伯语,以及其他非洲联盟官方语言,如阿拉伯语(MSA)、法语、葡萄牙语和西班牙语。我们的训练数据覆盖英语与 13 种语言的双向翻译,以及法语与两种语言(朗拉拉语和沃洛夫语)的翻译。AfriNLLB 模型基于 NLLB-200 600M,我们通过迭代层修剪和量化进行压缩。我们在为非洲语言精选的平行语料上进行微调,采用来自更大教师模型的知识蒸馏。我们的工作旨在实现在资源受限环境中对非洲语言翻译模型的高效部署。我们的评估结果表明,AfriNLLB 模型在保持与基线相当性能的同时,显著提升了速度。我们发布了两个版本的 AfriNLLB 模型:一个允许进一步微调的 Transformers 版本,以及用于高效推理的 CTranslate2 版本。此外,我们发布了用于微调基线和被修剪模型的所有训练数据,以促进进一步的研究。
引用
@article{arxiv.2602.09373,
title = {AfriNLLB: Efficient Translation Models for African Languages},
author = {Yasmin Moslem and Aman Kassahun Wassie and Amanuel Gizachew Abebe},
journal= {arXiv preprint arXiv:2602.09373},
year = {2026}
}
备注
Accepted at AfricaNLP 2026 (oral)