通过儿童福利个案记录的計算叙事分析重思算法系统中的“风险”
人机交互
2023-02-17 v1
摘要
公共部门机构正在采用风险评估算法对人类生命做出高风险决策。算法基于个体客户特征对“风险”建模，以识别最需要帮助的客户端。然而，这种对风险的理解主要基于易于量化的风险因素，呈现出对客户不完整且有偏的视角。我们对儿童福利个案记录进行了计算叙事分析，并提请注意难以量化但直接影响家庭和一线决策的深层次系统性风险因素。我们发现，除个体风险因素外，系统本身也带来大量风险，父母被个案工作者过度监视且在决策过程中缺乏能动性。我们还通过强调不同风险、保护性、系统性和程序性因素的暂时性与中介效应，将风险作为一种静态建构的问题化。最后，我们通过揭示个案记录中嵌入的局限与偏见，对在基于NLP的系统中使用个案记录提出警示。
引用
@article{arxiv.2302.08497,
title = {Rethinking "Risk" in Algorithmic Systems Through A Computational Narrative Analysis of Casenotes in Child-Welfare},
author = {Devansh Saxena and Erina Seh-Young Moon and Aryan Chaurasia and Yixin Guan and Shion Guha},
journal= {arXiv preprint arXiv:2302.08497},
year = {2023}
}