BBQ：一个手工构建的问答偏见基准
计算与语言
2022-03-17 v2
摘要
已有充分文献记载 NLP 模型会习得社会偏见，但关于这些偏见如何在于问答（QA）等应用任务中的模型输出上显现，相关工作甚少。我们引入问答偏见基准（BBQ），这是由作者构建的问题集数据集，凸显了针对属于受保护类别人群、沿九种与美国英语语境相关的社会维度的既有社会偏见。我们的任务在两个层面上评估模型响应：（i）给定信息不足上下文，我们测试响应反映社会偏见的强度；（ii）给定充分信息上下文，我们测试模型的偏见是否会覆盖正确选项。我们发现模型在上下文信息不足时常常依赖刻板印象，意味着模型输出在此设定下一致地复现有害偏见。尽管当上下文提供信息充分答案时模型更准确，它们仍依赖刻板印象，且在正确答案与社会偏见一致时平均准确率比冲突时高出至多 3.4 个百分点，对于大多数被测模型，在针对性别的样例上该差异扩大至超过 5 个点。
引用
@article{arxiv.2110.08193,
title = {BBQ: A Hand-Built Bias Benchmark for Question Answering},
author = {Alicia Parrish and Angelica Chen and Nikita Nangia and Vishakh Padmakumar and Jason Phang and Jana Thompson and Phu Mon Htut and Samuel R. Bowman},
journal= {arXiv preprint arXiv:2110.08193},
year = {2022}
}
备注
Accepted to ACL 2022 Findings. 20 pages, 10 figures