AGI遏制问题
人工智能
2016-07-14 v3
摘要
关于未来 AGI 将具有什么属性、能力和动机存在相当大的不确定性。在一些合理场景中，AGI 可能因事故和缺陷带来安全风险。为减轻这些风险，谨慎的早期 AGI 研究团队会在使用前对其创造物进行大量测试。不幸的是，如果 AGI 具有人类水平或更高智能，测试本身可能不安全；一些自然的 AGI 目标系统产生涌现激励，让 AGI 篡改测试环境、在互联网上复制自己或说服开发者和操作员做危险的事。本文我们综述 AGI 遏制问题——如何构建一个容器，在其中可以安全可靠地进行测试，即使对具有未知动机和可能危险的未知能力的 AGI。我们确定 AGI 容器的要求、可用机制和需要解决的弱点。
引用
@article{arxiv.1604.00545,
title = {The AGI Containment Problem},
author = {James Babcock and Janos Kramar and Roman Yampolskiy},
journal= {arXiv preprint arXiv:1604.00545},
year = {2016}
}