桥接 AI 可靠性研究数据鸿沟：建立 DR-AIR，综合性 AI 可靠性数据存储库
应用统计
2025-02-19 v1 人工智能
摘要
人工智能（AI）技术和系统正快速发展。然而，确保这些系统的可靠性对于培育公众对其使用的信心至关重要。这需要针对 AI 系统特有的可靠性数据进行建模和分析。AI 可靠性研究，特别是学术界研究者，面临主要挑战是缺乏可获取的 AI 可靠性数据。为此，本文聚焦于全面审查现有 AI 可靠性数据，建立 DR-AIR：一个用于 AI 可靠性的数据存储库。具体而言，我们介绍了用于评估 AI 可靠性的关键测量指标和数据类型，以及收集这些数据的方法。我们提供了当前可用数据集的详细描述并附有示例。进一步，我们概述了 DR-AIR 存储库的设置，展示了其实际应用。该存储库提供针对 AI 可靠性研究精心挑选的数据集的便捷访问。我们相信这些努力将显著有助于 AI 研究社区，通过便捷获取宝贵的可靠性数据，促进跨各学科领域的 AI 合作。我们以行动号召结束，呼吁研究社区贡献和共享 AI 可靠性数据，以进一步推动这一关键研究领域的发展。
引用
@article{arxiv.2502.12386,
title = {Bridging the Data Gap in AI Reliability Research and Establishing DR-AIR, a Comprehensive Data Repository for AI Reliability},
author = {Simin Zheng and Jared M. Clark and Fatemeh Salboukh and Priscila Silva and Karen da Mata and Fenglian Pan and Jie Min and Jiayi Lian and Caleb B. King and Lance Fiondella and Jian Liu and Xinwei Deng and Yili Hong},
journal= {arXiv preprint arXiv:2502.12386},
year = {2025}
}
备注
34 pages, 12 figures