固定 AUC 用于度量非预期偏见的局限性
机器学习
2019-03-07 v1 机器学习
摘要
本报告审视了所引入的 Pinned AUC 度量并强调了其若干局限性。Pinned AUC 受 ROC-AUC 度量启发，为分类模型中的非预期偏见提供了一种阈值无关度量。然而，正如我们在本报告中所强调的，当所度量偏见的底层类别分布未被仔细控制时，该度量可能掩盖不同种类的非预期偏见。
引用
@article{arxiv.1903.02088,
title = {Limitations of Pinned AUC for Measuring Unintended Bias},
author = {Daniel Borkan and Lucas Dixon and John Li and Jeffrey Sorensen and Nithum Thain and Lucy Vasserman},
journal= {arXiv preprint arXiv:1903.02088},
year = {2019}
}