负责任的基础模型开发 cheatsheet:工具与资源综述
机器学习
2025-12-19 v3 人工智能
计算机科学与博弈论
机器学习
摘要
基础模型开发吸引了不断增长的贡献者、科学家和应用。为帮助塑造负责任的开发实践,我们介绍了《基础模型开发 cheatsheet》:一个包含 250 多个工具和资源的不断增长的集合,涵盖文本、视觉和语音模态。我们基于大量既有工作,对资源(如软件、文档、框架、指南和实用工具)进行了概述,这些资源支持明确的数据选择、处理和理解、精确且对局限性敏感的制品文档、高效模型训练、对训练环境影响的前瞻性认识、谨慎的模型评估(包括能力、风险和声称),以及负责任的模型发布、许可和部署实践。我们希望这套精选资源集合能指导更负责任的开发。通过编纂这一列表,我们得以审查 AI 开发生态系统,揭示现有实践中哪些工具严格需求、被误用或被过度使用。我们发现:(i)数据来源、模型评估和监控工具在伦理和现实需求方面严格不足;(ii)模型安全、能力和环境影响的评估缺乏可重复性和透明度;(iii)文本和尤其是以英语为中心的分析在多语言和多模态分析方面仍占主导;(iv)需要对系统进行评估,而不仅仅是对模型进行评估,以便在上下文中评估能力和影响。
引用
@article{arxiv.2406.16745,
title = {Bandits with Preference Feedback: A Stackelberg Game Perspective},
author = {Barna Pásztor and Parnian Kassraie and Andreas Krause},
journal= {arXiv preprint arXiv:2406.16745},
year = {2025}
}
备注
In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS), 30 pages, 8 figures