期望功利主义

我们希望人工智能（AI）是有益的。这是大多数对待 AI 研究态度的基本假设。我们希望 AI 对人类是“好”的。我们希望它帮助而非阻碍人类。然而，这在理论与实践上究竟意味着什么并非一目了然。在理论上，这一陈述性声明微妙地暗示了对结果主义伦理的承诺。在实践上，一些用于创建稳健 AI、甚至可能是通用人工智能（AGI）的较有前景的机器学习技术，也使人承诺某种形式的功利主义。在这两方面，如果伦理假设未被明确清晰地阐明，有益 AI 运动的逻辑实际上可能无论在狭义应用还是 AGI 形式上都无法创造出“有益的 AI”。此外，由于强化学习（RL）很可能成为该领域机器学习的一项重要技术，审视 RL 如何将一种特殊类型的结果主义推理——尤其是一种粗暴的快乐主义行为功利主义——偷偷带入 AI 也很重要。由于数学逻辑使人承诺一个最大化函数，其结果是 AI 将不可避免地寻求越来越多的奖励。我们由此得出两点结论。第一，如果有人认为有益的 AI 即是伦理的 AI，那么其便承诺了一个将“益处”等同于最大多数人的最大幸福的框架。第二，如果 AI 依赖 RL，那么它对自身、环境及其他智能体的推理方式将经由一种行为功利主义道德。这一命题事实上对人类是否真正有益，尚不确定。