我的角色是什么？建模基于 AI 的安全关键系统的责任

基于 AI 的安全关键系统（AI-SCS）正日益部署于现实世界中。这些系统可能对人员和环境构成伤害风险。在开发和运行期间，降低该风险是首要任务。随着越来越多的 AI-SCS 变得自主，通过人为干预进行风险管理的层级已被移除。事故发生后，识别因果贡献及背后的不同责任主体对于从错误中学习并预防类似未来事件至关重要。许多学者评论了“责任缺口”，即开发者和制造商难以对 AI-SCS 的有害行为承担责任。这是由于 AI 复杂的开发周期、AI 性能的不确定性以及动态的运行环境所致。人类操作员可能成为“责任接收器”，吸收对其不负责创建且可能不理解的 AI-SCS 输出后果的指责。这篇跨学科论文探讨了不同意义上的责任（角色、道德、法律和因果），以及它们如何应用于 AI-SCS 安全背景。我们使用核心概念（主体 (A) 对事件 (O) 负责）来创建角色责任模型，产生了一种实用方法来捕捉责任关系，并澄清先前识别的责任问题。本文通过两个示例展示了该方法：对涉及自动驾驶车辆的亚利桑那州坦佩市致命碰撞的回顾性分析，以及针对基于 AI 的糖尿病共病预测器的以安全为重点的预测性角色责任分析。在这两个示例中，我们的主要关注点是安全，旨在减少对操作员或开发人员的不公平或不成比例的指责。我们提出了讨论和未来研究方向。