避免灭绝的 AI 治理：战略格局与可操作的研究问题

人类似乎即将开发出在所有认知领域和活动中都大幅超越人类专家的 AI 系统。我们认为，默认的发展轨迹极有可能导致灾难，包括人类灭绝。风险源于对强大 AI 系统的失控、恶意行为者对 AI 的滥用、大国之间的战争以及威权锁定。本研究议程有两个目标：描述 AI 发展的战略格局，并梳理重要的治理研究问题。这些问题一旦得到解答，将为如何成功降低灾难性风险提供重要洞见。我们描述了应对先进 AI 发展的地缘政治反应的四种高层情景，并梳理了与每种情景最相关的研究问题。我们倾向的情景是建立必要的技术、法律和制度基础设施，以在国际上限制危险的 AI 开发与部署（我们称之为“关闭开关”），这将导致未来某个时刻国际协调一致地“暂停”前沿 AI 活动。我们描述的第二种情景是“美国国家 AI 项目”，即美国政府竞相开发先进的 AI 系统，并建立对全球 AI 发展的单边控制。我们还描述了另外两种情景：一个类似于今天的“轻度干预”世界，以及一个各国利用破坏和威慑来减缓 AI 发展的“破坏威胁”局面。在我们看来，除了“关闭开关与暂停”情景外，所有这些轨迹似乎都带有不可接受的灾难性伤害风险。美国国家安全界和 AI 治理生态系统需要采取紧急行动，回答关键研究问题，建立暂停危险 AI 活动的能力，并为国际 AI 协议做准备。