可信的社会偏见度量
计算与语言
2024-07-19 v1
摘要
我们如何设计可信的社会偏见度量？尽管先前工作引入了若干度量，但尚无任一度量获得广泛信任：相反，越来越多的证据表明我们应不信任这些度量。在本工作中，我们基于跨学科的度量建模理论设计值得信任的偏见度量。为应对 NLP 中社会偏见常被模糊处理的问题，我们明确界定社会偏见，并以社会科学研究原则为依据。我们通过提出通用偏见度量框架 DivDist 将定义操作化，并用以实例化 5 个具体偏见度量。为验证我们的度量，我们提出含 8 项检验标准（例如预测效度：度量是否能预测美国就业中的偏见？）的严格测试协议。通过测试，我们展示了信任我们度量的充分证据，表明它们克服了先前度量中存在的概念、技术与经验缺陷。
引用
@article{arxiv.2212.11672,
title = {Trustworthy Social Bias Measurement},
author = {Rishi Bommasani and Percy Liang},
journal= {arXiv preprint arXiv:2212.11672},
year = {2024}
}