从飞机坠毁到算法危害：安全工程框架在负责任ML中的适用性
人机交互
2022-10-10 v1 机器学习
摘要
机器学习（ML）系统的不当设计与部署会对用户、社会及环境产生负面的下游社会与伦理影响——此处称为社会与伦理风险。尽管对ML系统进行监管的需求日益增长，当前评估和缓解风险的流程却是分散且不一致的。我们访谈了30位行业从业者，了解其当前的社会与伦理风险管理实践，并收集了他们对将安全工程框架——即系统理论过程分析（STPA）与故障模式及影响分析（FMEA）——引入其实践的首反应。我们的发现表明，STPA/FMEA可为社会与伦理风险评估与缓解流程提供恰当的结构。然而，我们也发现将此类框架融入ML行业快节奏文化中存在不小的挑战。我们呼吁ML研究界加强现有框架并评估其效能，以确保ML系统对所有人更安全。
引用
@article{arxiv.2210.03535,
title = {From plane crashes to algorithmic harm: applicability of safety engineering frameworks for responsible ML},
author = {Shalaleh Rismani and Renee Shelby and Andrew Smart and Edgar Jatho and Joshua Kroll and AJung Moon and Negar Rostamzadeh},
journal= {arXiv preprint arXiv:2210.03535},
year = {2022}
}