生成式 AI 是否会说尼日利亚皮钞语？关于多语言 LLM 的代表性与偏见问题
计算与语言
2025-05-01 v5
摘要
尼日利亚是一个拥有 500 多种语言的多语言国家。Naija 是一种尼日利亚皮钞语，约有 1200 万使用者，是一种混合语言（如英语、葡萄牙语、约鲁巴语、豪萨语和伊博语）。尽管它主要是口头语言，直到最近才逐渐出现书面形式（例如维基百科上的书面 Naija）。西非皮钞英语（WAPE）也在尼日利亚广泛使用，BBC 也利用 WAPE 在互联网上为不仅尼日利亚本国，甚至其他西非国家（如喀麦隆和加纳）的受众发布新闻。通过统计分析和机器翻译实验，我们的论文表明，这两种皮钞语彼此不具代表性（即词序和词汇存在语言差异），而生成式 AI 仅基于 WAPE 运行。换言之，Naija 在生成式 AI 中存在代表性不足，几乎无法通过少量示例来训练 LLM。除了统计分析外，我们还提供了两种皮钞语的历史信息，以及来自志愿性维基百科贡献者（Naija 语言）的访谈见解。
引用
@article{arxiv.2404.19442,
title = {Does Generative AI speak Nigerian-Pidgin?: Issues about Representativeness and Bias for Multilingualism in LLMs},
author = {David Ifeoluwa Adelani and A. Seza Doğruöz and Iyanuoluwa Shode and Anuoluwapo Aremu},
journal= {arXiv preprint arXiv:2404.19442},
year = {2025}
}
备注
Accepted to NAACL 2025 (findings), please cite ACL anthology reference on https://aclanthology.org/2025.findings-naacl.85/