你的分类器真的有偏吗？用伯恩斯坦界在不确定性下度量公平性
计算与语言
2020-04-28 v1 机器学习
摘要
大多数 NLP 数据集未标注性别等受保护属性，使得使用标准公平性度量（例如机会均等）来衡量分类偏差十分困难。然而，用受保护属性手动标注大型数据集缓慢且昂贵。与其标注所有样本，我们能否标注其中一部分并用该样本估计偏差？虽然可以这样做，但该标注样本越小，我们就越不确定估计值接近真实偏差。在这项工作中，我们提出使用伯恩斯坦界将关于偏差估计的不确定性表示为置信区间。我们提供了经验证据，表明以此方式导出的 95% 置信区间持续约束真实偏差。通过量化这种不确定性，我们的方法（称为伯恩斯坦有界不公平性）有助于防止在证据不足而无法做出任一断言时将分类器判定为有偏或公平。我们的发现表明，当前用于度量特定偏差的数据集太小，除最恶劣的情况外无法确凿识别偏差。例如，考虑一个在性别刻板句子上准确率高 5% 的共指消解系统——要以 95% 置信度声称其有偏，我们需要一个比现有最大的 WinoBias 大 3.8 倍的偏差专用数据集。
引用
@article{arxiv.2004.12332,
title = {Is Your Classifier Actually Biased? Measuring Fairness under Uncertainty with Bernstein Bounds},
author = {Kawin Ethayarajh},
journal= {arXiv preprint arXiv:2004.12332},
year = {2020}
}
备注
ACL 2020