高风险AI风险管理的可操作指南：迈向应对AI灾难性风险的标准
计算机与社会
2023-02-24 v3 人工智能
机器学习
摘要
人工智能（AI）系统可以提供许多有益的能力，但也存在不良事件的风险。一些AI系统可能带来具有极高或灾难性社会规模后果的事件风险。美国国家标准与技术研究院（NIST）一直在制定《NIST人工智能风险管理框架》（AI RMF），作为面向AI开发者和其他相关方的AI风险评估与管理的自愿性指南。针对具有灾难性后果的事件风险，NIST指出需要将高层原则转化为可操作的风险管理指南。在本文档中，我们提供了详细的可操作指南建议，重点关注识别和管理具有极高或灾难性后果的事件风险，旨在作为NIST AI RMF 1.0版（2023年1月发布）或AI RMF用户，或其他AI风险管理指南和标准的风险管理实践资源。我们还提供了提出建议的方法论。我们为AI RMF 1.0提供了以下方面的可操作指南建议：识别AI系统潜在非预期使用和误用的风险；将灾难性风险因素纳入风险评估和影响评估的范围；识别和减轻人权危害；以及报告AI风险因素信息，包括灾难性风险因素。此外，我们还为AI RMF后续版本或补充出版物的路线图提供了关于其他问题的建议。这些包括：为日益多用途或通用的前沿AI提供带有补充指南的AI RMF Profile。我们旨在使这项工作成为具体的风险管理实践贡献，并激发关于如何在AI标准中应对灾难性风险及相关问题的建设性对话。
引用
@article{arxiv.2206.08966,
title = {Actionable Guidance for High-Consequence AI Risk Management: Towards Standards Addressing AI Catastrophic Risks},
author = {Anthony M. Barrett and Dan Hendrycks and Jessica Newman and Brandie Nonnecke},
journal= {arXiv preprint arXiv:2206.08966},
year = {2023}
}
备注
56 pages; updated throughout for general consistency with NIST AI RMF 1.0