面向风险与决策分析的人工超级智能灾难路径模型
人工智能
2016-07-27 v1
摘要
人工超级智能（ASI）是在各方面均显著优于人类智能的人工智能。尽管 ASI 目前尚不存在，但部分学者提出它可能在未来某个时刻被创造出来，且其诞生可能引发严重的全球性灾难，甚至导致人类灭绝。鉴于其风险极高，分析 ASI 风险并将该风险纳入与 ASI 研发相关的决策中至关重要。本文提出了一种 ASI 重大灾难路径的图模型，重点关注通过递归自我改进创造的 ASI。该模型采用了故障树和影响图等既定的风险与决策分析建模范式，以描绘可能导致 AI 灾难的事件与条件的组合，以及可降低风险的干预选项。这些事件和条件包括 ASI 本身的特定方面以及人类进行 ASI 研究、开发与管理的过程。模型结构源自已发表的 ASI 风险文献。该模型为 ASI 灾难长期风险的严格定量评估与决策提供了基础。
引用
@article{arxiv.1607.07730,
title = {A Model of Pathways to Artificial Superintelligence Catastrophe for Risk and Decision Analysis},
author = {Anthony M. Barrett and Seth D. Baum},
journal= {arXiv preprint arXiv:1607.07730},
year = {2016}
}