算法风险评估对人类预测的影响及其通过众包研究的分析
人机交互
2021-09-06 v1 人工智能
摘要
随着算法风险评估工具（RAI）日益被采用以辅助决策者，其预测性能及加剧不平等的潜在可能已受到审视。然而，尽管多数研究孤立地考察这些工具，研究者已认识到评估其影响需要理解人类交互者的行为。本文基于近期若干聚焦刑事司法的众包工作，开展了一项情境研究，其中非专业人员被要求预测未来的再逮捕。我们的主要发现如下：（1）即便参与者认为再逮捕可能性远低于 50%，也常预测犯罪者会被再逮捕；（2）参与者并不锚定于 RAI 的预测；（3）完成调查所花时间在各参与者间差异很大，多数案例在不到 10 秒内被评估；（4）司法判决不同于参与者的预测，部分依赖于与再逮捕可能性正交的因素。这些结果凸显了在构建众包研究以分析 RAI 影响时，若干关键但常被忽视的设计决策以及关于泛化性的担忧。
引用
@article{arxiv.2109.01443,
title = {The Impact of Algorithmic Risk Assessments on Human Predictions and its Analysis via Crowdsourcing Studies},
author = {Riccardo Fogliato and Alexandra Chouldechova and Zachary Lipton},
journal= {arXiv preprint arXiv:2109.01443},
year = {2021}
}
备注
Proceedings of the ACM on Human-Computer Interaction 5, CSCW2, Article 428 (October 2021)