RuBia：俄语偏见检测数据集
计算与语言
2024-03-27 v1
摘要
警告：本作品包含令人不安或扰动的内容。大语言模型（LLMs）倾向于学习预训练数据中存在的社会和文化偏见。为了测试LLM的行为是否公平，常采用功能性数据集，而由于其目的，这些数据集在语言和文化方面高度特定。本文针对多语言偏见评估中的空白，提出专为俄语语言设计的偏见检测数据集，称为RuBia。RuBia数据集分为4个领域：性别、民族、社会经济状况和多样性，其中每个领域进一步划分为多个细粒度子域。数据集中的每个示例包含两个句子，其中第一个强化可能有害的刻板印象或主题，第二个则予以矛盾。这些句子对首先由志愿者撰写，然后由母语为英语的众包工作者验证。总体而言，RuBia中包含约2000个唯一句子对，覆盖19个子域。为说明数据集的目的，我们对最先进或接近最先进的LLMs进行诊断评估，并讨论了这些LLMs对社会偏见的倾向。
引用
@article{arxiv.2403.17553,
title = {RuBia: A Russian Language Bias Detection Dataset},
author = {Veronika Grigoreva and Anastasiia Ivanova and Ilseyar Alimova and Ekaterina Artemova},
journal= {arXiv preprint arXiv:2403.17553},
year = {2024}
}
备注
accepted to LREC-COLING 2024