HausaNLP: 现状、挑战及未来方向
计算与语言
2025-07-23 v3
摘要
Hausa 语言自然语言处理 (NLP) 近年来受到日益关注, 但尽管拥有全球1.2亿以上的母语者和8000万以上的次语学习者, 仍属低资源语言。虽然在高资源语言方面取得了显著进展, 但 Hausa NLP 面临持续挑战, 包括有限的开源数据集和模型表示不足。本文概述了 Hausa NLP 的当前研究状况, 对现有资源、研究贡献和在基础 NLP 任务（文本分类、机器翻译、命名实体识别、语音识别和问答）中的空白进行了系统性审查。我们引入HausaNLP (https://catalog.hausanlp.org), 一个聚合数据集、工具和研究作品的精选目录, 以提高可访问性并推动进一步发展。此外, 我们讨论了将 Hausa 整合到大型语言模型 (LLM) 中的挑战, 包括分词 suboptimal 和方言变异问题。最后, 我们提出了强调数据集扩充、改进语言建模方法以及加强社区合作的战略性研究方向, 以推动 Hausa NLP 的发展。我们的工作为加速 Hausa NLP 的进步提供了基础, 并为更广泛的多语言 NLP 研究提供了宝贵见解。
引用
@article{arxiv.2505.14311,
title = {HausaNLP: Current Status, Challenges and Future Directions for Hausa Natural Language Processing},
author = {Shamsuddeen Hassan Muhammad and Ibrahim Said Ahmad and Idris Abdulmumin and Falalu Ibrahim Lawan and Babangida Sani and Sukairaj Hafiz Imam and Yusuf Aliyu and Sani Abdullahi Sani and Ali Usman Umar and Tajuddeen Gwadabe and Kenneth Church and Vukosi Marivate},
journal= {arXiv preprint arXiv:2505.14311},
year = {2025}
}