Mafoko：面向南非自然语言处理的结构化开放多语言术语库构建
计算与语言
2025-11-04 v3
摘要
尽管存在大量的政府和学术术语表，但南非官方语言结构化术语数据的严重缺乏阻碍了多语言自然语言处理的发展。这些有价值的资源仍然处于碎片化状态，并被锁定在非机器可读格式中，使其无法用于计算研究与开发。Mafoko 通过系统地将这些分散的资源聚合、清理和标准化为开放、可互操作的数据集来解决这一挑战。我们介绍了在公平的、以非洲为中心的 NOODL 框架下发布的基础 Mafoko 数据集。为了展示其即时实用性，我们将该术语集成到检索增强生成（RAG）流水线中。实验表明，大语言模型在英语到茨文达语机器翻译的准确性和特定领域一致性方面取得了显著提升。Mafoko 为开发稳健且公平的自然语言处理技术提供了可扩展的基础，确保南非丰富的语言多样性在数字时代得到体现。
引用
@article{arxiv.2508.03529,
title = {Mafoko: Structuring and Building Open Multilingual Terminologies for South African NLP},
author = {Vukosi Marivate and Isheanesu Dzingirai and Fiskani Banda and Richard Lastrucci and Thapelo Sindane and Keabetswe Madumo and Kayode Olaleye and Abiodun Modupe and Unarine Netshifhefhe and Herkulaas Combrink and Mohlatlego Nakeng and Matome Ledwaba},
journal= {arXiv preprint arXiv:2508.03529},
year = {2025}
}
备注
Accepted for Sixth Workshop on Resources for African Indigenous Languages (RAIL) 2025