非洲停用词项目：为非洲语言整理停用词
计算与语言
2023-04-25 v1 机器学习
摘要
停用词在自然语言处理（NLP）的信息检索技术中是基础性的。文本数据预处理中的常见任务之一是去除停用词。当前，尽管像英语这样的高资源语言受益于多种可用停用词，但低资源语言（如非洲大陆上的语言）尚无标准化且可用于 NLP 工具包的停用词。非洲语言语境下的停用词研究不足，且可揭示语言间交叉的信息。African Stopwords 项目旨在研究并为非洲语言整理停用词。在本文中，我们展示了在十种非洲语言上的当前进展以及该项目的未来计划。
引用
@article{arxiv.2304.12155,
title = {The African Stopwords project: curating stopwords for African languages},
author = {Chris Emezue and Hellina Nigatu and Cynthia Thinwa and Helper Zhou and Shamsuddeen Muhammad and Lerato Louis and Idris Abdulmumin and Samuel Oyerinde and Benjamin Ajibade and Olanrewaju Samuel and Oviawe Joshua and Emeka Onwuegbuzia and Handel Emezue and Ifeoluwatayo A. Ige and Atnafu Lambebo Tonja and Chiamaka Chukwuneke and Bonaventure F. P. Dossou and Naome A. Etori and Mbonu Chinedu Emmanuel and Oreen Yousuf and Kaosarat Aina and Davis David},
journal= {arXiv preprint arXiv:2304.12155},
year = {2023}
}
备注
Accepted at the AfricaNLP workshop at ICLR2022