KoBBQ：面向问答的韩文偏见基准

问答偏见基准（BBQ）旨在评估语言模型（LM）的社会偏见，但由于社会偏见高度依赖文化背景，将该基准适配到美国以外的文化语境并不容易。本文我们提出KoBBQ，一个韩文偏见基准数据集，并给出一套解决数据集文化适配考量的一般框架。我们的框架将BBQ数据集划分为三类——直接迁移类（经文化翻译后可直接使用）、目标修改类（需在目标群体上本地化）和样本移除类（不符合韩国文化）——并新增四类韩国文化特有的偏见。我们开展大规模调查，以收集并验证反映韩国文化刻板印象的社会偏见及其偏见目标。最终KoBBQ数据集包含268个模板和76,048个样本，涵盖12类社会偏见。我们使用KoBBQ衡量若干最先进多语言LM的准确率与偏见分数。结果清晰显示出KoBBQ与BBQ机器翻译版所测LM偏见差异，证明了构建良好的文化感知社会偏见基准的必要性与效用。