面向人类生存安全的AI研究考量（ARCHES）
计算机与社会
2020-06-11 v1 人工智能
机器学习
摘要
以积极的表述而言，本报告考察了技术AI研究如何被引导至更关注人类作为物种的长期生存前景。以消极的表述而言，我们追问在下个世纪人类可能面临来自AI发展的哪些生存风险，以及当代技术研究应遵循何种原则来应对这些风险。我们引入了一个假想AI技术的关键属性，称为“优势性（prepotence）”，它有助于划定各类来自人工智能的潜在生存风险，即便AI范式可能发生转变。随后，我们考察了一组当代研究方向对其在生存安全方面的潜在益处。每个研究方向均通过情景驱动的动机及可借以构建的现有工作实例加以说明。这些研究方向本身带有在社会不同影响尺度上可能出现的风险与益处，特别是若在其重大进展未经充分预见与监督即被部署时，并不保证有益于生存安全。因此，每个方向均附有对潜在负面副作用的考量。
引用
@article{arxiv.2006.04948,
title = {AI Research Considerations for Human Existential Safety (ARCHES)},
author = {Andrew Critch and David Krueger},
journal= {arXiv preprint arXiv:2006.04948},
year = {2020}
}