算法辅助再犯风险评估中人类预测的对比用户研究
计算机与社会
2024-03-18 v2
摘要
本文研究了使用基于算法的风险评估工具来辅助预测刑事再犯风险的效果。我们在实验中使用的工具是RiskEval(因双盲评审改名)的机器学习版本，它是Country(因双盲评审省略)司法部使用的主要风险评估工具。任务是预测一名已获释人员是否会在未来两年内实施新犯罪并导致再次入狱。除其他变量外，我们测量了有人工智能辅助与无人工智能辅助时人类预测的准确性。该用户研究通过以下方式进行：(1)通过众包平台招募的来自不同背景的一般参与者，(2)目标参与者，即数据科学、犯罪学或社会工作专业的学生与从业者以及使用RiskEval的专业人员。除其他发现外，我们观察到算法辅助使所有参与者的预测系统性地更准确，但在统计显著增益上仅见于目标参与者相对于众包参与者的表现。我们还对目标研究的参与者进行了焦点小组以解释定量结果，包括以专业身份使用RiskEval的人员。除其他评论外，专业参与者表示他们不会预见在刑事风险评估中使用全自动化系统，但认为其对培训、标准化以及微调或复核特别困难案例的预测具有价值。
引用
@article{arxiv.2201.11080,
title = {A Comparative User Study of Human Predictions in Algorithm-Supported Recidivism Risk Assessment},
author = {Manuel Portela and Carlos Castillo and Songül Tolan and Marzieh Karimi-Haghighi and Antonio Andres Pueyo},
journal= {arXiv preprint arXiv:2201.11080},
year = {2024}
}