公平性度量分数足以评估机器学习中的歧视偏见吗？
计算与语言
2023-06-09 v1 计算机与社会
机器学习
机器学习
摘要
本文提出新颖实验，揭示当前用于评估机器学习算法在文本数据上所产生性别歧视偏见的度量之缺陷。我们聚焦于 Bios 数据集，学习任务为基于个人传记预测其职业。此类预测任务在自动职位推荐等商业自然语言处理（NLP）应用中十分常见。我们指出了关于群体公平度量的理论讨论的一个重要局限：它们关注大型数据集，而许多工业 NLP 应用的常态是使用小到合理规模的语言数据集，其主要实际约束在于获得良好的预测精度。我们进而质疑：当训练集规模仅足以学习到合理准确的预测时，不同流行的偏见度量究竟有多可靠。我们的实验对 Bios 数据集进行采样，并在不同样本规模上训练了 200 余个模型。这使我们能对结果作统计研究，并确认常见的性别偏见指标在应用于相对较小的训练与测试样本时会给出分歧且有时不可靠的结果。这凸显了在此领域中为提供可靠结果而进行方差计算的至关重要性。
引用
@article{arxiv.2306.05307,
title = {Are fairness metric scores enough to assess discrimination biases in machine learning?},
author = {Fanny Jourdan and Laurent Risser and Jean-Michel Loubes and Nicholas Asher},
journal= {arXiv preprint arXiv:2306.05307},
year = {2023}
}
备注
Accepted for publication at Third Workshop on Trustworthy Natural Language Processing, ACL 2023