量化 NLP 中的社会偏见：外在公平性指标的泛化与实证比较
计算与语言
2021-06-29 v1
摘要
度量偏见是更好理解和解决 NLP/ML 模型中不公平性的关键。这通常通过公平性指标完成，其量化模型在一系列人口群体间行为的差异。在本工作中，我们进一步阐明 NLP 中所用公平性指标间的异同。首先，我们将广泛的现有指标统一在三个泛化公平性指标之下，揭示它们之间的联系。接着，我们对现有指标进行大量实证比较，并证明偏见度量中观察到的差异可通过我们泛化指标中参数选择的差异被系统性解释。
引用
@article{arxiv.2106.14574,
title = {Quantifying Social Biases in NLP: A Generalization and Empirical Comparison of Extrinsic Fairness Metrics},
author = {Paula Czarnowska and Yogarshi Vyas and Kashif Shah},
journal= {arXiv preprint arXiv:2106.14574},
year = {2021}
}
备注
Accepted for publication in Transaction of the Association for Computational Linguistics (TACL), 2021. The arXiv version is a pre-MIT Press publication version