审视高级人工智能的差异性风险与控制问题

人工智能（AI）是21世纪最具变革性的技术之一。未来AI能力的程度和范围仍是一大关键不确定性，在时间线和潜在影响上普遍存在分歧。随着各国和科技公司在AI系统的复杂性与自主性上竞相发展，人们对不透明AI决策过程的整合与监督程度感到担忧。在机器学习（ML）子领域中尤为如此，系统无需人类协助即可学习优化目标。目标可能被不完美指定，或以出乎意料或潜在有害的方式执行。随着系统能力与自主性的增强，这愈发令人担忧，因为能力的突跃可能导致权力动态的意外转变甚至灾难性失败。本研究提出了一个分层复杂系统框架来建模AI风险，并为替代未来分析提供模板。我们从公私部门的领域专家收集了调查数据，以对AI的影响和可能性进行分类。结果显示，对强大AI智能体情景的不确定性增加，对多智能体环境的信心，以及对AI对齐失败和寻求影响行为的担忧加剧。