系统安全与人工智能

本章基于安全关键领域基于软件自动化的系统安全领域见解，阐述了防止人工智能（AI）系统危害的七条经验。AI 在社会领域及公共组织和基础设施中的新应用带来了新危险，进而导致新的危害形式，既严重又隐蔽。本文针对诊断和消除新 AI 系统危险缺乏共识的问题展开讨论。数十年来，系统安全领域一直处理受不同程度基于软件自动化与决策控制的安全关键系统中的事故与危害。该领域秉持系统与控制的核心理念：AI 系统不能仅通过模型或算法上的技术设计选择来保障安全，而是需要一个端到端的危险分析与设计框架，涵盖使用情境、受影响利益相关者以及系统运行的正式与非正式制度环境。安全性及其他价值由此本质上是社会技术性和涌现性系统属性，需要通过设计与控制措施在技术、社会和制度组件中落实。本章致敬系统安全先驱 Nancy Leveson，将其核心经验置于当今 AI 系统安全挑战中。针对每条经验，提供了具体工具以重新思考并重组 AI 系统在设计和治理中的安全管理。这段历史告诉我们，有效的 AI 安全管理需要跨学科方法以及允许全社会各层面参与的共享语言。