更公平且更准确，但对谁而言？
应用统计
2017-07-04 v1 计算机与社会
机器学习
摘要
复杂的统计机器学习模型正日益被用于或考虑用于金融服务、医疗保健、刑事司法和公共服务等领域的高风险决策流程中。这些模型常被研究作为对回归模型或人类判断等更经典工具的可能改进。尽管建模方法可能是新的，但使用某种形式的风险评估来辅助决策的做法却并非如此。因此，在决定是否应采用新模型时，必须能够跨一系列与任务相关的准确性和公平性指标，将所提模型与现有方法进行比较。然而，关注整体性能指标可能具有误导性。即使两个模型具有可比的整体性能，它们仍可能在相当大比例案例的分类上不一致。本文中，我们引入了一种模型比较框架，用于自动识别模型间差异最为显著的子群体。我们的主要重点是识别那些模型在种族或性别差异等公平性相关量上不同的子群体。我们展示了来自累犯预测任务和假设贷款示例的实验结果。
引用
@article{arxiv.1707.00046,
title = {Fairer and more accurate, but for whom?},
author = {Alexandra Chouldechova and Max G'Sell},
journal= {arXiv preprint arXiv:1707.00046},
year = {2017}
}
备注
Presented as a poster at the 2017 Workshop on Fairness, Accountability, and Transparency in Machine Learning (FAT/ML 2017)