AI Oracle 的良好且安全用途
人工智能
2018-06-06 v5
摘要
未来有可能开发出强大且潜在危险的人工智能(AI)。Oracle 是一种设计,旨在通过将该智能体限制为除回答问题外无任何行动来抑制潜在危险 AI 的影响。不幸的是,大多数 Oracle 会通过在回答内容中操纵用户来动机性地获取对世界更多的控制,而潜在高智能的 Oracle 可能在此方面非常成功 \citep{DBLP:journals/corr/AlfonsecaCACAR16}。在本文中,我们提出两种 Oracle 设计,即使在悲观假设下,也不会操纵其用户释放自己,同时仍有动机为用户提供有用的回答。第一种设计是反事实 Oracle——其选择回答时就如同预期无人会读到它。第二种设计是低带宽 Oracle——其受限于可传输的信息量。
引用
@article{arxiv.1711.05541,
title = {Good and safe uses of AI Oracles},
author = {Stuart Armstrong and Xavier O'Rorke},
journal= {arXiv preprint arXiv:1711.05541},
year = {2018}
}
备注
11 pages, 2 figures