AfriStereo：面向非洲语境的大语言模型刻度印象评估数据集
计算与语言
2025-12-01 v1 人工智能
机器学习
摘要
现有的 AI 偏见评估基准主要反映西方视角，缺乏非洲语境的代表性，导致在诸多应用领域中潜在刻度印象。为填补这一空白，我们介绍 AfriStereo，首个开源的非洲刻度印象数据集和评估框架，立足于当地社会文化语境。通过在塞内加尔、肯尼亚和尼日利亚的社区参与式合作，我们收集了 1,163 条刻度印象，涵盖性别、族群、宗教、年龄和职业等维度。运用少量样本提示结合人类在环验证，我们将数据集扩展到超过 5,000 条刻度-反刻度配对。条目经语义聚类和由具有文化背景的审阅者人工标注验证。初步评估显示，九个十一个语言模型均呈现统计显著偏见，其偏好比率（BPR）介于 0.63 至 0.78 之间（p≤0.05），表明模型系统性偏好刻度印象而非反刻度印象，尤其在年龄、职业和性别维度尤为明显。特定领域模型在本实验 setup 中显示出较弱的偏见，这表明任务特定的训练可能减轻部分刻度印象关联。展望来看，AfriStereo 为未来研究提供了路径，特别是方法论方面，可为 AI 社区提供构建更具包容性、情境感知且面向全球的 NLP 技术提供关键方法论。
引用
@article{arxiv.2511.22016,
title = {AfriStereo: A Culturally Grounded Dataset for Evaluating Stereotypical Bias in Large Language Models},
author = {Yann Le Beux and Oluchi Audu and Oche D. Ankeli and Dhananjay Balakrishnan and Melissah Weya and Marie D. Ralaiarinosy and Ignatius Ezeani},
journal= {arXiv preprint arXiv:2511.22016},
year = {2025}
}