阈值跨越作为灾难性AI风险的尾事件
计算机与社会
2025-03-27 v2 人工智能
摘要
我们分析了算法系统中由分支点驱动的跳跃如何与出现重尾结果分布相关联的情形。通过分析控制参数在灾难性阈值附近随机波动如何产生极端结果，我们展示了在何种情况下，突发大规模转换的概率与结果损坏分布的尾部概率紧密对齐。我们的结果为监控、减缓和控制AI系统提供了方法论指导，以管理潜在的灾难性AI风险。
引用
@article{arxiv.2503.18979,
title = {Threshold Crossings as Tail Events for Catastrophic AI Risk},
author = {Elija Perrier},
journal= {arXiv preprint arXiv:2503.18979},
year = {2025}
}
备注
Under peer review