掌控风险：应对先进人工智能灭绝风险的政策

本文提供降低先进人工智能（AI）所致灭绝风险的政策建议。首先，我们简要提供关于 AI 灭绝风险的背景信息。其次，我们认为 AI 公司的自愿承诺将是一种不适当且不足的回应。第三，我们描述三项能切实应对先进 AI 威胁的政策提案：（1）建立多国 AGI 联盟以实现对先进 AI 的民主监督（MAGIC），（2）实施对训练 AI 系统所用计算量的全球上限（全球算力上限），以及（3）要求肯定性安全评估以确保风险保持在可接受水平以下（关键实验门控）。MAGIC 将是一个安全的、以安全为重点、国际治理的机构，负责降低先进 AI 风险并开展研究以安全利用 AI 益处。MAGIC 还将维护应急响应基础设施（终止开关），以在 AI 相关紧急情况下迅速停止 AI 开发或撤回模型部署。全球算力上限将终结企业迈向危险 AI 系统的竞赛，同时使绝大多数 AI 创新不受阻碍地继续。关键实验门控将确保开发强大 AI 系统的公司被要求出示肯定性证据，证明这些模型将灭绝风险保持在可接受阈值以下。在描述这些建议后，我们提出国际社会可采取的中间步骤以实施这些提案，并为围绕先进 AI 的国际协调奠定基础。