安全论证：如何论证先进AI系统的安全性
计算机与社会
2024-03-20 v2 人工智能
摘要
随着AI系统变得越来越先进，公司和监管机构将就训练和部署它们是否安全做出艰难的决定。为了为这些决定做准备，我们调查了开发者如何制作“安全论证”，即一种结构化的论证，说明AI系统不太可能导致灾难。我们提出了一个用于组织安全论证的框架，并讨论了四类论证安全性的论据：完全无法导致灾难、足够强的控制措施、尽管有能力造成伤害但仍具有可信度，以及——如果AI系统变得强大得多——听从可信的AI顾问。我们评估了每个类别中论据的具体示例，并概述了如何将论据结合起来以论证AI系统的部署是安全的。
引用
@article{arxiv.2403.10462,
title = {Safety Cases: How to Justify the Safety of Advanced AI Systems},
author = {Joshua Clymer and Nick Gabrieli and David Krueger and Thomas Larsen},
journal= {arXiv preprint arXiv:2403.10462},
year = {2024}
}