AI生存故事：AI生存性风险的分类学分析
人工智能
2026-01-16 v1
摘要
自ChatGPT发布以来，关于AI系统是否对人类构成生存性风险引发了大量争论。本文构建了一个思考AI系统生存性风险的通用框架。我们分析了一个包含两个前提的论证：AI系统将对人类构成威胁。前提一：AI系统将变得极其强大。前提二：如果AI系统变得极其强大，它们将毁灭人类。我们利用这两个前提构建了一个生存故事分类学，在这些故事中，人类得以幸存至遥远的未来。在每个生存故事中，两个前提之一不成立。要么科学障碍阻止AI系统变得极其强大；要么人类禁止AI系统研究，从而阻止其变得极其强大；要么极其强大的AI系统不会毁灭人类，因为其目标阻止了它们这样做；要么极其强大的AI系统不会毁灭人类，因为我们可以可靠地检测并禁用那些以毁灭人类为目标的系统。我们认为，不同的生存故事面临不同的挑战。我们还认为，不同的生存故事会激发对AI威胁的不同应对措施。最后，我们利用该分类学对P(doom)——即人类被AI毁灭的概率——进行了粗略估计。
引用
@article{arxiv.2601.09765,
title = {AI Survival Stories: a Taxonomic Analysis of AI Existential Risk},
author = {Herman Cappelen and Simon Goldstein and John Hawthorne},
journal= {arXiv preprint arXiv:2601.09765},
year = {2026}
}