为 AI 适配概率性风险评估

现代通用人工智能 (AI) 系统正呈现出紧迫的风险管理挑战，其快速发展的能力及其对社会和生物体系可能造成的灾难性危害，已超越我们可靠评估其风险的能力。当前方法常依赖有限的测试和对风险优先级的未记录假设，频繁未能严格尝试评估 AI 系统通过直接或间接方式对社会和生物体系构成风险的路径。本文提出了面向 AI 的概率性风险评估 (PRA) 框架，借鉴高可靠性行业（如核能、航空航天）的既有 PRA 技术，用于应对新兴的 AI 挑战。该框架指导评估者识别潜在风险、估计概率与严重程度区间，并在适当的细节层级下明确记录证据、底层假设和分析过程。该框架的实现工具将结果综合为风险报告卡，提供来自所有已评估风险的聚合风险估计。它引入了三项方法论创新：(1) 方面导向的危害分析通过基于 AI 系统方面（如能力、领域知识、可 affordances）的首要原理分类，提供系统的危害覆盖；(2) 风险路径建模使用双向分析并纳入前瞻技术，分析从系统方面到社会影响的因果链条；(3) 不确定性管理采用情景分解、参考尺度和明确的追踪协议，以结构化可信的预测，涵盖新颖性或数据有限的情形。此外，该框架通过整合证据，形成可用于生命周期决策的可比较的、量化的绝对风险估计，实现了多种评估方法的协调。我们已将其实现为面向 AI 开发者、评估者和监管者的工作手册工具。