面向公共部门的生成式 AI 风险评估框架：SAIF
人工智能
2025-03-31 v2 计算与语言
计算机与社会
摘要
生成式 AI 在公共部门的快速应用，涵盖从自动化公共援助、福利服务到移民流程等多样化场景，凸显了其变革性潜力，同时也凸显了亟需进行全面风险评估的紧迫需求。尽管其应用日益广泛，但针对公共部门 AI 驱动系统的风险评估仍不足。基于从多种政府政策和企业指南中衍生的 established AI 风险分类框架，我们研究了生成式 AI 在公共部门所面临的关键风险，并扩展了其多模态能力的考量。此外，我们提出了评估生成式 AI 风险的系统性数据生成框架（SAIF）。SAIF 包括四个关键阶段：风险拆解、情景设计、应用越狱方法以及探索提示类型。它确保了提示数据系统性且一致的生成，促进了全面评估，为风险缓解提供了坚实基础。Furthermore, SAIF 旨在适应新兴的越狱方法和不断演化的提示类型，从而能够有效应对不可预见的风险情景。我们认为，这一研究在推动生成式 AI 安全、负责任地融入公共部门方面发挥着关键作用。
引用
@article{arxiv.2501.08814,
title = {SAIF: A Comprehensive Framework for Evaluating the Risks of Generative AI in the Public Sector},
author = {Kyeongryul Lee and Heehyeon Kim and Joyce Jiyoung Whang},
journal= {arXiv preprint arXiv:2501.08814},
year = {2025}
}
备注
6 pages, 2 figures, 1 tables. AI for Public Missions (AIPM) Workshop at the 39th AAAI Conference on Artificial Intelligence (AAAI 2025)