人在回路的必要性：在算法评分存在错误时的决策

在敏感领域越来越多地使用算法预测，既伴随着热情也伴随着担忧。为理解这些技术的机遇与风险，研究专家在使用此类工具时如何改变其决策至关重要。本文研究了一种用于辅助儿童虐待热线筛查决策的算法工具的采用情况。我们关注的问题是：人类能否识别机器出错的情况，并推翻那些建议？我们首先表明，当该工具部署后人类确实改变了其行为。然后我们表明，当显示的分数对风险的估计有误时，人类较不可能遵从机器的建议，即便推翻建议需要主管审批。这些结果凸显了完全自动化的风险，以及设计赋予人类自主权的决策流程的重要性。