MasakhaNEWS：面向非洲语言的新闻主题分类基准数据集
计算与语言
2023-09-21 v2
摘要
由于缺少覆盖若干 NLP 任务的数据集，非洲语言在 NLP 研究中严重代表性不足。尽管存在正扩展到不同任务的特定语言数据集，但仅有少数 NLP 任务（如命名实体识别与机器翻译）拥有覆盖多种地理与类型学上多样的非洲语言的标准化基准数据集。本文中，我们开发了 MasakhaNEWS——一个覆盖非洲广泛使用的 16 种语言的新闻主题分类新基准数据集。我们通过训练经典机器学习模型并微调若干语言模型，提供了对基线模型的评估。此外，我们探索了若干替代完全微调语言模型的方案，这些方案更适用于零样本与少样本学习，例如跨语言参数高效微调（如 MAD-X）、模式利用训练（PET）、提示语言模型（如 ChatGPT），以及无提示句向量微调（SetFit 与 Cohere Embedding API）。我们在零样本设定下的评估显示了提示 ChatGPT 用于低资源非洲语言新闻主题分类的潜力，在不借助如 MAD-X 的额外监督下取得了平均 70 F1 点的性能。在少样本设定下，我们展示每标签仅用 10 个示例，借助 PET 方法即达到了完全监督训练（92.6 F1 点）性能的 90% 以上（即 86.0 F1 点）。
引用
@article{arxiv.2304.09972,
title = {MasakhaNEWS: News Topic Classification for African languages},
author = {David Ifeoluwa Adelani and Marek Masiak and Israel Abebe Azime and Jesujoba Alabi and Atnafu Lambebo Tonja and Christine Mwase and Odunayo Ogundepo and Bonaventure F. P. Dossou and Akintunde Oladipo and Doreen Nixdorf and Chris Chinenye Emezue and sana al-azzawi and Blessing Sibanda and Davis David and Lolwethu Ndolela and Jonathan Mukiibi and Tunde Ajayi and Tatiana Moteu and Brian Odhiambo and Abraham Owodunni and Nnaemeka Obiefuna and Muhidin Mohamed and Shamsuddeen Hassan Muhammad and Teshome Mulugeta Ababu and Saheed Abdullahi Salahudeen and Mesay Gemeda Yigezu and Tajuddeen Gwadabe and Idris Abdulmumin and Mahlet Taye and Oluwabusayo Awoyomi and Iyanuoluwa Shode and Tolulope Adelani and Habiba Abdulganiyu and Abdul-Hakeem Omotayo and Adetola Adeeko and Abeeb Afolabi and Anuoluwapo Aremu and Olanrewaju Samuel and Clemencia Siro and Wangari Kimotho and Onyekachi Ogbu and Chinedu Mbonu and Chiamaka Chukwuneke and Samuel Fanijo and Jessica Ojo and Oyinkansola Awosan and Tadesse Kebede and Toadoum Sari Sakayo and Pamela Nyatsine and Freedmore Sidume and Oreen Yousuf and Mardiyyah Oduwole and Tshinu Tshinu and Ussen Kimanuka and Thina Diko and Siyanda Nxakama and Sinodos Nigusse and Abdulmejid Johar and Shafie Mohamed and Fuad Mire Hassan and Moges Ahmed Mehamed and Evrard Ngabire and Jules Jules and Ivan Ssenkungu and Pontus Stenetorp},
journal= {arXiv preprint arXiv:2304.09972},
year = {2023}
}
备注
Accepted to IJCNLP-AACL 2023 (main conference)