AI 之误：一项关于大型语言模型缺陷报告实践的案例研究

Sean McGregor; Allyson Ettinger; Nick Judd; Paul Albee; Liwei Jiang; Kavel Rao; Will Smith; Shayne Longpre; Avijit Ghosh; Christopher Fiorelli; Michelle Hoang; Sven Cattell; Nouha Dziri

AI 之误：一项关于大型语言模型缺陷报告实践的案例研究

计算机与社会 2024-10-17 v1 机器学习软件工程

作者: Sean McGregor , Allyson Ettinger , Nick Judd , Paul Albee , Liwei Jiang , Kavel Rao , Will Smith , Shayne Longpre , Avijit Ghosh , Christopher Fiorelli , Michelle Hoang , Sven Cattell , Nouha Dziri

在 arXiv 上查看 ↗ PDF ↗

摘要

2024 年 8 月，495 名黑客在针对来自 Allen Institute for AI 的 Open Language Model(OLMo) 的开放性 bug bounty 评估中生成了评估。由 OLMo 安全项目代表组成的供应商小组审查了 OLMo 文档的变更，并对成功演示公共披露以澄清模型部署意图、能力及风险的参与者颁发了现金奖励。本文呈现了一系列经验教训，旨在减少事件发生并生产造更安全的大型语言模型(LLM)。这些包括关于安全报告流程、其作品及安全项目人员的最佳实践。

关键词

大型语言模型 LLM 缺陷报告 bug bounty 安全项目 OLMo AI 安全

引用

@article{arxiv.2410.12104,
  title  = {To Err is AI : A Case Study Informing LLM Flaw Reporting Practices},
  author = {Sean McGregor and Allyson Ettinger and Nick Judd and Paul Albee and Liwei Jiang and Kavel Rao and Will Smith and Shayne Longpre and Avijit Ghosh and Christopher Fiorelli and Michelle Hoang and Sven Cattell and Nouha Dziri},
  journal= {arXiv preprint arXiv:2410.12104},
  year   = {2024}
}

备注

8 pages, 5 figures

AI 之误：一项关于大型语言模型缺陷报告实践的案例研究

摘要

关键词

引用

备注

相关论文