选择你的透镜：性别偏见评估中的缺陷
计算与语言
2022-10-21 v1
摘要
近年来，衡量和缓解性别偏见的大量努力催生了众多用于此目的的任务、数据集和指标。在本立场论文中，我们评估当前的性别偏见评估范式并识别出其中的若干缺陷。首先，我们强调外在偏见指标的重要性，其衡量模型在某任务上的性能如何受性别影响，而非对模型表示的内在评估，后者与同系统交互的人所受具体危害联系较弱。我们发现大多数研究仅衡量了少数外在指标，尽管更多指标可被衡量。其次，我们发现数据集与指标常耦合在一起，并讨论其耦合如何阻碍获得可靠结论，以及如何将二者解耦。我们随后考察数据集及其构成的选择，以及指标的选择，如何影响偏见度量，发现各者间均存在显著变异。最后，我们提出若干更可靠性别偏见评估的准则。
引用
@article{arxiv.2210.11471,
title = {Choose Your Lenses: Flaws in Gender Bias Evaluation},
author = {Hadas Orgad and Yonatan Belinkov},
journal= {arXiv preprint arXiv:2210.11471},
year = {2022}
}
备注
Accepted to the 4th Workshop on Gender Bias in Natural Language Processing