渐进式削弱：来自incremental AI 发展的系统性存在风险

本文审视了人工智能incremental 进步所带来的系统性风险，发展了“渐进式削弱”概念，与常见讨论的突然接管场景形成鲜明对比。我们分析了即使incremental 提升 AI 能力也如何削弱人类对依赖其运行的大规模系统的人类影响力，包括经济、文化和国家层面的系统。随着 AI 越来越多地取代人类劳动和认知，这些系统可能削弱人类控制机制（如投票和消费者选择）以及常常因系统依赖人类参与而产生的人类利益的隐式对齐。此外，仅限于这些系统激励 outcomes 的程度，AI 可能更积极地优化这些 outcomes。这些效应在不同领域可能相互强化：经济力量塑造文化叙事和政治决策，而文化变迁又改变经济和政治行为。我们认为，这种动态可能导致对关键社会系统人类影响力的有效不可逆损失，进而通过人类永久性削弱引发存在性灾难。这表明需要针对incremental 削弱人类影响力跨越社会系统的风险，发展既有针对性的技术研究和治理方法。