反馈回路的分类及其在自动化决策系统中与偏差的关系
计算机与社会
2024-01-05 v1 机器学习
摘要
基于预测的决策系统正日益在各个领域普及。先前的研究表明，此类系统易受失控反馈回路的影响，例如，无论实际犯罪活动率如何，警察 repeatedly 被派回相同社区，从而加剧既有偏差。在实践中，自动化决策对系统本身具有动态的反馈效应，可随时间持续，使得短视的设计选择难以控制系统演化。尽管研究者已开始提出长期解决方案以防止不良后果（例如对某些群体的偏差），这些干预很大程度上依赖于特设建模假设，且目前缺乏对基于机器学习的决策系统中反馈动力学的严格理论理解。本文运用动力系统理论（应用数学中分析具有动态行为的系统间相互连接的分支）的语言，严格分类基于机器学习的决策流水线中不同类型的反馈回路。通过回顾现有学术工作，我们表明该分类涵盖了算法公平社区中讨论的诸多实例，从而提供了研究反馈回路的统一且基于原理的框架。通过定性分析以及一个推荐系统的仿真示例，我们展示了每种反馈回路类型影响哪些特定类型的机器学习偏差。我们发现，基于机器学习的决策流水线中反馈回路的存在可延续、强化甚至减少机器学习偏差。
引用
@article{arxiv.2305.06055,
title = {A Classification of Feedback Loops and Their Relation to Biases in Automated Decision-Making Systems},
author = {Nicolò Pagan and Joachim Baumann and Ezzat Elokda and Giulia De Pasquale and Saverio Bolognani and Anikó Hannák},
journal= {arXiv preprint arXiv:2305.06055},
year = {2024}
}