日语偏差基准测试集：用于分析大型语言模型中的社会偏见
计算与语言
2025-06-16 v4
摘要
随着大型语言模型（LLM）的发展，LLM 中的社会偏见已成为突出问题。虽然存在各种跨语言的社会偏见基准测试集，但日语 LLM 的社会偏见程度尚未得到充分调查。本研究基于英语偏见基准测试集 BBQ，构建了用于问答的日语偏差基准数据集（JBBQ），并对日语 LLM 中的社会偏见进行分析。结果表明，当前参数更大的开源日语 LLM 在 JBBQ 上准确率提高，但偏差得分随之上升。此外，带有社会偏见警示的提示和链式思考（chain-of-thought）提示可降低模型输出中的偏见效果，但在日语中从上下文中提取正确证据的能力仍有提升空间。本数据集已提供于 https://github.com/ynklab/JBBQ_data。
引用
@article{arxiv.2406.02050,
title = {JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models},
author = {Hitomi Yanaka and Namgi Han and Ryoma Kumon and Jie Lu and Masashi Takeshita and Ryo Sekizawa and Taisei Kato and Hiromi Arai},
journal= {arXiv preprint arXiv:2406.02050},
year = {2025}
}
备注
Accepted to the 6th Workshop on Gender Bias in Natural Language Processing (GeBNLP2025) at ACL2025