调查人类与机器在再犯预测中的互补性
机器学习
2018-12-04 v2 人工智能
计算机与社会
机器学习
摘要
在公平性领域中评估风险时,人类输入何时(或何时不)有帮助?Dressel 和 Farid(2018)让 Mechanical Turk 工作者对 ProPublica COMPAS 数据中的一部分被告进行再犯风险评估,并得出结论:COMPAS 预测并不比人类做出的预测更准确或公平。我们深入探讨这一主张,以探索人类与算法决策之间的差异。我们基于多名 Turk 工作者的预测构建了人类风险评分,刻画了决定 COMPAS 与人类评分之间一致与不一致的特征,并构建了混合人类+机器模型来预测再犯。我们的关键发现是:在该数据集上,人类与 COMPAS 的决策方式不同,但这种不同并不能被用于显著改善真实标签预测。我们展示了分析结果,并提出了在公平性领域利用人类与机器互补优势的数据收集最佳实践建议。
引用
@article{arxiv.1808.09123,
title = {Investigating Human + Machine Complementarity for Recidivism Predictions},
author = {Sarah Tan and Julius Adebayo and Kori Inkpen and Ece Kamar},
journal= {arXiv preprint arXiv:1808.09123},
year = {2018}
}