从数据分布与不确定性视角对 AI 系统风险评估的探索性研究
机器学习
2022-12-16 v1 人工智能
软件工程
摘要
深度学习(DL)已成为一种驱动力，并凭借具有竞争力的性能被广泛采用到许多领域和应用中。在实践中，为解决现实应用中的 nontrivial 且复杂的任务，DL 通常不单独使用，而是作为更大的复杂 AI 系统中的一个组件。尽管研究深度神经网络(DNNs)在模型层面质量问题的趋势快速增长，但极少有研究在单元层面调查 DNNs 的质量及其在系统层面的潜在影响。更重要的是，如何从单元层面到系统层面进行 AI 系统的风险评估也缺乏系统性研究。为弥补这一差距，本文从数据分布和不确定性两个角度发起了一项关于 AI 系统风险评估的早期探索性研究以应对这些问题。我们提出了一个带有探索性研究的通用框架用于分析 AI 系统。经过大规模（700+ 实验配置和 5000+ GPU 小时）实验与深入调查，我们得出了若干关键且有趣发现，凸显了深入探究 AI 系统的实际需求和机遇。
引用
@article{arxiv.2212.06828,
title = {An Exploratory Study of AI System Risk Assessment from the Lens of Data Distribution and Uncertainty},
author = {Zhijie Wang and Yuheng Huang and Lei Ma and Haruki Yokoyama and Susumu Tokumoto and Kazuki Munakata},
journal= {arXiv preprint arXiv:2212.06828},
year = {2022}
}
备注
51 pages, 5 figures, 27 tables