EsBBQ 和 CaBBQ：西班牙语和加泰罗尼亚语偏见基准测试用于问答
计算与语言
2025-07-16 v1
摘要
先前的文献大多表明，大型语言模型 (Large Language Models, LLMs) 会继承其预训练数据中所学到的社会偏见。鉴于目前缺乏针对除英语以外其他语言的社会偏见评估资源，以及针对美国以外社会情境的资源，本文引入西班牙语和加泰罗尼亚语问答偏见基准测试 (Spanish and Catalan Bias Benchmarks for Question Answering, 简称 EsBBQ 和 CaBBQ)。基于原始 BBQ 数据集，这两个平行数据集旨在采用多选问答方式，评估跨 10 个社会偏见类别的社会偏见。现已适配西班牙语和加泰罗尼亚语，并针对西班牙社会情境进行设计。我们报告了在不同 LLMs 上的评估结果，考虑了模型家族、规模和变体。我们的结果表明，模型在含糊情境下往往无法选择正确答案，且高 QA 准确率往往与更强的社会偏见依赖相关联。
引用
@article{arxiv.2507.11216,
title = {EsBBQ and CaBBQ: The Spanish and Catalan Bias Benchmarks for Question Answering},
author = {Valle Ruiz-Fernández and Mario Mina and Júlia Falcão and Luis Vasquez-Reina and Anna Sallés and Aitor Gonzalez-Agirre and Olatz Perez-de-Viñaspre},
journal= {arXiv preprint arXiv:2507.11216},
year = {2025}
}