Feriji：法-扎尔马平行语料库、词汇表与翻译系统
计算与语言
2024-08-14 v2
摘要
机器翻译（MT）是快速扩展的领域，近年来已取得显著进展，开发出能够以惊人准确性翻译多种语言的模型。然而，该领域对非洲语言的代表仍有不足，由于语言复杂性和资源有限。这也体现在扎尔马语言（Zarma）上，该语言是尼日尔及邻国超过 500 万人的南部-撒哈拉语族（Nilo-Saharan 语系）的一个方言 \cite{lewis2016ethnologue}。本文介绍 Feriji，即首个为 MT 设计的 robust 法-扎尔马平行语料库和词汇表。该语料库包含 61,085 句扎尔马语和 42,789 句法语，以及 4,062 个词的词汇表，标志着为扎尔马语言提供资源的重要一步。我们对三个大型语言模型在数据集上进行 fine-tune，最佳模型达到 30.06 的 BLEU 分数。我们进一步对模型进行人类评估，评估其流畅性、理解度和可读性，并探讨了语料库和模型的重要性和影响。我们的贡献有助于弥合语言鸿沟，促进对这一重要且被忽视的原住民非洲语言的关注。
引用
@article{arxiv.2406.05888,
title = {Feriji: A French-Zarma Parallel Corpus, Glossary & Translator},
author = {Mamadou K. Keita and Elysabhete Amadou Ibrahim and Habibatou Abdoulaye Alfari and Christopher Homan},
journal= {arXiv preprint arXiv:2406.05888},
year = {2024}
}