Shona spaCy：面向欠资源巴塔语的形态分析器
计算与语言
2025-11-24 v1 人工智能
摘要
尽管自然语言处理(NLP)领域取得了快速进展，巴塔语Shona语言在形态分析和语言感知工具方面仍处于欠资源状态。本文介绍Shona spaCy，一个基于spaCy框架构建的开源、基于规则的Shona语言形态分析管道。该系统将精选的JSON词典与语言学依据的规则相结合，建模名词词类前缀(Mupanda 1-18)、动词主语鞭状词、时态-数前缀、拟声词和clitic，并将其整合为词级别的注释，包括词形、词性和形态特征。该工具可通过pip install shona-spacy获得，源代码位于https://github.com/HappymoreMasoka/shona-spacy，PyPI发行版位于https://pypi.org/project/shona-spacy/0.1.4/。在正式语料和非正式语料上的评估显示，准确率分别为90%和88%，同时保持对语言学决策的透明度。通过将描述性语法与计算实现相结合，Shona spaCy推动了NLP的可及性和数字包容性，为Shona语言使用者提供了工具，也为其他欠资源巴塔语的形态分析工具提供了模板。
引用
@article{arxiv.2511.16680,
title = {Shona spaCy: A Morphological Analyzer for an Under-Resourced Bantu Language},
author = {Happymore Masoka},
journal= {arXiv preprint arXiv:2511.16680},
year = {2025}
}