将高可靠智能体设计论证作为通向人工智能安全的有用路径
人工智能
2022-01-11 v1 计算机与社会
摘要
为确保未来变革性人工智能（TAI）或人工超级智能（ASI）系统的安全，存在多种不同方法，不同方法的支持者就其工作在近期及未来系统中的重要性或有用性提出了不同且有争议的主张。高可靠智能体设计（HRAD）是最具争议且最雄心勃勃的方法之一，由机器智能研究所等机构倡导，关于它是否及如何降低未来 AI 系统风险的各类论证已被提出。为减少 AI 安全辩论中的混淆，本文基于 Rice 先前汇总并呈现的、用于论证 HRAD 作为 AI 系统安全路径的四项核心论证展开。我们将这些论证命名为（1）附带效用、（2）去混淆、（3）精确规范与（4）预测。每一项对未来 AI 系统如何产生风险作出了不同且部分冲突的主张。我们依据已发表与非正式文献的综述，并咨询在该议题上表达过立场的专家，解释了其中的假设与主张。最后，我们简要概述了针对各方法乃至整体议程的反驳论证。
引用
@article{arxiv.2201.02950,
title = {Arguments about Highly Reliable Agent Designs as a Useful Path to Artificial Intelligence Safety},
author = {Issa Rice and David Manheim},
journal= {arXiv preprint arXiv:2201.02950},
year = {2022}
}
备注
14 pages and 2 figures + 6 pages for references and appendices