AI智能体应根据其自主运行程度进行监管

本文论述了AI智能体应根据其自主运行程度进行监管。具备长期规划和战略能力的AI智能体可能带来人类灭绝和不可逆转的全球灾难的重大风险。虽然现有法规通常以计算规模作为潜在危害的代理指标，但我们认为此类措施不足以评估那些其能力主要源于推理时计算的智能体所带来的风险。为了支持我们的观点，我们讨论了科学家关于生存风险的相关法规和建议，以及使用动作序列——反映智能体自主程度——作为比现有依赖观测环境状态的指标更适合衡量潜在影响的优势。