基于归因理论评估推理中社会偏见的日语基准
计算与语言
2026-04-02 v1
摘要
在提升大语言模型(LLM)的公平性时,评估根植于特定语言区域文化背景的社会偏见至关重要。然而,现有的大多数日语基准严重依赖对英语数据的翻译,这未必能提供适合日本文化的评估。此外,它们仅评估结论中的偏见,未能捕捉推理中潜藏的偏见。在本研究中,基于社会心理学中的归因理论,我们构建了一个新数据集"JUBAKU-v2",该数据集在固定结论的同时,评估推理中对内群体和外群体行为进行归因时的偏见。该数据集包含216个反映日本特有文化偏见的示例。实验结果验证了它比现有基准能更灵敏地检测不同模型之间的性能差异。
引用
@article{arxiv.2604.00568,
title = {A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory},
author = {Taihei Shiotani and Masahiro Kaneko and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2604.00568},
year = {2026}
}