风险建模在高级人工智能风险管理中的作用
计算机与社会
2025-12-10 v1
摘要
快速进步的人工智能（AI）系统引入了新颖的、不确定的以及潜在的灾难性风险。管理这些风险需要一个成熟的风险管理基础设施，其基石是严谨的风险建模。我们将 AI 风险建模概念化为（i）场景构建——从危险到损害的因果映射——和（ii）风险估计——量化每条路径的可能性和严重性——的紧密结合。我们回顾了经典技术，如故障树分析和事件树分析、FMEA/FMECA、STPA 和贝叶斯网络，并展示了它们如何被适配于高级 AI。对新兴学术和工业努力的调查揭示了碎片化：能力基准、安全案例和部分定量研究有价值，但若脱离综合因果场景则不够充分。通过比较核能、航空、网络安全、金融和潜艇领域，我们观察到每个领域都将不可接受事件的确定性保证与更广泛风险格局的概率评估相结合。我们论证高级 AI 治理应采用类似的二元方法，并且迫切需要可验证的、理论上可证明安全的 AI 架构，以在当前模型源于不透明的端到端优化程序而非手工指定的情况下提供确定性证据。在一个潜在的可用于治理的框架中，开发者进行迭代风险建模，监管者将结果与预先定义的社会风险容忍阈值进行比较。本文既提供了方法论蓝图，也开启了一场关于如何将健全的风险建模嵌入高级 AI 风险管理核心的讨论。
引用
@article{arxiv.2512.08723,
title = {The Role of Risk Modeling in Advanced AI Risk Management},
author = {Chloé Touzet and Henry Papadatos and Malcolm Murray and Otter Quarks and Steve Barrett and Alejandro Tlaie Boria and Elija Perrier and Matthew Smith and Siméon Campos},
journal= {arXiv preprint arXiv:2512.08723},
year = {2025}
}