迈向基于AI系统的全面风险评估与保证

基于AI系统的部署带来的新型安全、社会经济和伦理危害，催生了大量旨在映射、测量和缓解新发现风险的工作。这些工作大量利用了系统安全工程和网络安全领域的技术和术语，但在考虑降低所采用方法的有效性和正确应用的局限性和细微差别方面有所不足。此外，滥用涉及符合既定安全和安保属性的术语可能会误导利益相关者关于AI系统满足的声明，并提供虚假的安全感。在本文中，我们力求在一致且全面的保证术语上协调重叠的、与AI相邻的社区，这对于基于AI系统的安全部署至关重要。我们概述了为什么先前从安全和安保领域调整风险评估技术和术语的尝试是不够的。然后，我们提出了一种新颖的端到端AI风险框架，该框架整合了最初为ADS（自动驾驶系统）[1]引入的运营设计域（ODD）概念，用于更通用的基于AI的系统。ODD的目的是提供AI系统被设计为正确运行的特定操作条件的描述，从而勾勒出可以据此确定系统危害和损害的安全包络。我们相信，通过定义更具体的操作包络，开发人员和审计人员可以更好地评估基于AI系统的潜在风险和所需的安全缓解措施。