大爆炸，低门槛——公共领域中的风险评估

风险管理的基本原则之一是，我们应始终留意事情可能严重出错的途径，即便其看似不太可能。潜在失败越具灾难性，在我们能安全忽略它之前，其需要有多不可能。该原则或许显而易见，但在关于风险的公共讨论中很容易被忽视，即便是由理应更了解的合格评论者也是如此。本文的撰写源于近期关于人工智能潜在生存性风险的讨论中对该原则的忽视。此疏漏并非该案例所独有，但该领域近期的辩论提供了一些尤为鲜明的例子，说明该原则多么容易被忽视。