面向 AGI 安全的增强功利主义

随着展现出稳步提升问题解决能力的人工智能系统研究持续推进，在 AGI 安全中识别价值对齐问题的可行方案正变得迫在眉睫。在此背景下，多位研究者已着手解决的一个突出挑战是：充分表述可靠捕捉人类伦理观念的效用函数或等价物。然而，合适效用函数的设定潜藏“反常实例化”风险，对此迄今尚无负责任的主动对策的最终共识。在此背景下，我们提出一种称为增强功利主义（Augmented Utilitarianism）的新社会经济伦理框架，其直接缓解反常实例化问题。我们详述在 AI 及更广义的科技增强下，它如何使社会在制定并更新伦理效用函数的同时经历动态伦理提升。进一步，我们阐明在面向与人类价值对齐的 AGI 设计效用函数时，需要考虑具身模拟的必要性。最后，我们讨论该科学奠基伦理框架的使用前景并提及可能挑战。