RiskRAG：面向改进 AI 模型风险报告的数据驱动解决方案
软件工程
2025-04-15 v1 人机交互
摘要
风险报告对于 documenting AI 模型至关重要，但仅有 14% 的模型卡提及风险，其中 96% 复制自小集合卡片的内容，导致缺乏可操作性洞察。现有改进模型卡的提议未能解决这些问题。为此，我们引入 RiskRAG，一个基于检索增强生成（Retrieval Augmented Generation）的风险报告解决方案，依据我们从文献中识别的五项设计要求以及与 16 名开发人员共设计的要求：识别多样化的模型风险、清晰呈现和排序风险、为实际应用提供情境化，并提供可操作的缓解策略。基于 45 万份模型卡和 600 起真实世界事件，RiskRAG 前置了情境化风险报告。针对 50 名开发人员的初步研究显示，他们更倾向于使用 RiskRAG 而非标准模型卡，因为它更好地满足了所有设计要求。最终针对 38 名开发人员、40 名设计师和 37 名媒体专业人士的研究显示，RiskRAG 改善了他们为特定应用选择 AI 模型的方式，鼓励更谨慎和深思的决策-making。RiskRAG 项目页面 accessible at: https://social-dynamics.net/ai-risks/card。
引用
@article{arxiv.2504.08952,
title = {RiskRAG: A Data-Driven Solution for Improved AI Model Risk Reporting},
author = {Pooja S. B. Rao and Sanja Šćepanović and Ke Zhou and Edyta Paulina Bogucka and Daniele Quercia},
journal= {arXiv preprint arXiv:2504.08952},
year = {2025}
}