儿童福利中的算法危害：实践、组织与街头层面决策的不确定性
人机交互
2023-08-11 v1
摘要
在儿童福利、刑事司法和教育等公共服务中，算法正日益被用于对人类生活做出高风险决策。基于在一家儿童福利机构开展的为期两年的民族志研究，我们强调了算法系统如何嵌入儿童福利流程关键环节的复杂决策生态系统中。个案工作者在日常生活中与算法交互，必须收集有关家庭的信息并将其输入算法以做出关键决策。我们展示了系统机制与算法决策之间的相互作用如何对决策过程本身的公平性产生不利影响。我们展示了算法系统中的功能问题如何导致面向过程的危害，这些危害对专业实践的性质、机构的管理产生不利影响，并导致街头层面不一致且不可靠的决策。此外，个案工作者被迫以修复工作的形式承担额外劳动，以恢复中断的行政流程与决策，同时面临组织压力以及时间和资源限制。最后，我们分享了一个简单算法工具的案例研究，该工具将个案工作者的决策置于创伤知情框架内并带来更好结果，然而，这需要机构在构建其恰当使用的生态系统方面进行大量投入。
引用
@article{arxiv.2308.05224,
title = {Algorithmic Harms in Child Welfare: Uncertainties in Practice, Organization, and Street-level Decision-Making},
author = {Devansh Saxena and Shion Guha},
journal= {arXiv preprint arXiv:2308.05224},
year = {2023}
}