到2043年实现变革性通用人工智能的可能性不足1%

本文提交给 Open Philanthropy 的 AI 世界观竞赛。我们在文中估计了到2043年实现变革性通用人工智能（AGI）的可能性，发现其不足1%。具体而言，我们认为：门槛很高：竞赛所定义的 AGI——即能够以不高于人类成本完成几乎所有有价值任务的 AI，我们称之为变革性 AGI——其标准远高于仅仅是 AI 的巨大进步，甚至高于明确实现昂贵的超人类 AGI 或廉价但不均衡的 AGI。需要多个步骤：到2043年实现变革性 AGI 的概率可分解为若干必要步骤的联合概率，我们将其归为软件、硬件和社会政治因素三类。没有步骤是必然的：对于每个步骤，我们估计了在前序步骤达成的前提下到2043年成功的概率。许多步骤受短期时间线的严重制约，我们的估计范围在16%到95%之间。因此，概率很低：将级联条件概率相乘，我们估计到2043年实现变革性 AGI 的可能性为0.4%。要达到>10%似乎需要高得不合理的概率，即便3%也似乎不太可能。审慎地将级联条件概率方法应用于此问题，所得概率值低于通常的设想。该框架有助于枚举人类在迈向变革性 AGI 过程中取得部分但不完整进展的诸多未来情景。