人工智能研究的生存风险分析
计算机与社会
2022-09-21 v7 人工智能
机器学习
摘要
人工智能（AI）有潜力极大地改善社会，但如同任何强大技术一样，它也伴随着更高的风险与责任。当前的AI研究缺乏关于如何管理AI系统长尾风险（包括推测性的长期风险）的系统性讨论。在牢记AI潜在益处的同时，有人担忧构建愈发智能和强大的AI系统最终可能产生比人类更强大的系统；一些人称这如同玩火，并推测这可能造成生存风险（x-risks，存在性风险）。为提升讨论的精确性并使其有据可依，我们提供了一份如何分析AI生存风险的指南，包含三部分：首先，我们回顾当今如何借助久经考验的危险分析与系统安全概念使系统更安全，这些概念旨在将大型流程导向更安全的方向。接着，我们讨论对未来系统的安全性产生长期影响的策略。最后，我们讨论通过改善安全性与通用能力之间平衡来使AI系统更安全这一关键概念。我们希望本文档及所呈现的概念与工具能作为理解如何分析AI生存风险的有用指南。
引用
@article{arxiv.2206.05862,
title = {X-Risk Analysis for AI Research},
author = {Dan Hendrycks and Mantas Mazeika},
journal= {arXiv preprint arXiv:2206.05862},
year = {2022}
}