灾难性人工智能风险概述
计算机与社会
2023-10-11 v6 人工智能
机器学习
摘要
人工智能（AI）的快速发展引发了专家、政策制定者和世界领袖日益增长的担忧，即日益先进的 AI 系统可能带来灾难性风险。尽管众多风险已被分别详述，但迫切需要对潜在危险进行系统性讨论和说明，以更好地为缓解这些风险的努力提供信息。本文概述了灾难性 AI 风险的主要来源，我们将其归为四类：恶意使用，即个人或群体故意使用 AI 造成伤害；AI 竞赛，即竞争环境迫使行动者部署不安全的 AI 或将控制权让渡给 AI；组织风险，强调人为因素和复杂系统如何增加灾难性事故的概率；以及失控 AI，描述控制远胜于人类的智能体的内在困难。对于每一类风险，我们描述了具体危害，呈现说明性故事，设想理想场景，并提出缓解这些危险的实用建议。我们的目标是促进对这些风险的全面理解，并激发集体和主动的努力，以确保 AI 安全和负责任地开发与部署。最终，我们希望这将使我们能够实现这一强大技术的益处，同时将灾难性后果的可能性降至最低。
引用
@article{arxiv.2306.12001,
title = {An Overview of Catastrophic AI Risks},
author = {Dan Hendrycks and Mantas Mazeika and Thomas Woodside},
journal= {arXiv preprint arXiv:2306.12001},
year = {2023}
}