面向社交与伦理机器学习风险的系统安全工程：一个案例研究

政府、产业界与学术界已付出诸多努力来识别并缓解机器学习驱动系统中的危害，尤其关注复杂社会技术系统中机器学习组件的社交与伦理风险。然而，现有方法在很大程度上是割裂的、临时的且有效性未知。系统安全工程是一门成熟的学科，在诸多复杂社会技术领域识别与管理风险方面有着良好记录。我们采纳这样一个自然假设：该领域的工具可用于增强机器学习在其使用情境中的风险分析。为验证此假设，我们将一种“最优”系统安全分析——系统理论过程分析（STPA）——应用于一个具有重要作用的机器学习组件的高后果系统，即由美国许多州运行的处方药监测计划（PDMPs），其中若干州依赖于机器学习衍生的风险评分。我们特别聚焦于该分析如何拓展至识别社交与伦理风险，并制定具体的设计层控制以缓解之。