为何专家对人工智能生存风险和 P(doom) 存在分歧？一项 AI 专家调查
计算机与社会
2025-02-24 v1 人工智能
人机交互
摘要
人工通用智能（AGI）的研发可能是人类历史上最具后果的技术进步之一。领先的 AI 实验室和科学家呼吁将 AI 安全置于全球优先位置，称其作为与核战争相当的生存风险。然而，关于灾难性风险和 AI 对齐的研究常常遭到怀疑，甚至包括专家在内。此外，关于 AI 生存风险的线上辩论正趋向部落化（例如称呼对手为“末日论者”或“加速主义者”）。迄今为止，尚无系统性研究探讨专家信念模式以及对 AI 安全概念熟悉程度。我对 111 名 AI 专家进行调查，了解他们对 AI 安全概念的熟悉程度、对 AI 安全的关键反对意见以及对安全论点的反应。我的发现表明，AI 专家分为两个观点——“AI 作为可控工具”和“AI 作为不可控代理”——在对 AI 安全重要性的信念上存在分歧。尽管大多数专家（78%）同意或strongly 同意“技术 AI 研究人员应关注灾难性风险”，但许多人对具体的 AI 安全概念不熟悉。例如，只有 21% 的受访专家曾听说过“工具性收敛”这一 AI 安全中的基本概念，该概念预测高级 AI 系统倾向于追求常见子目标（如自我保护）。最不担忧的参与者对此类概念最不熟悉，这表明 AI 安全的有效沟通应从建立该领域的清晰概念基础开始。
引用
@article{arxiv.2502.14870,
title = {Why do Experts Disagree on Existential Risk and P(doom)? A Survey of AI Experts},
author = {Severin Field},
journal= {arXiv preprint arXiv:2502.14870},
year = {2025}
}
备注
In submission to AI and Ethics Journal. 24 pages total, 15 pages of writing with 9 pages of appendices