为数据科学家操作化保证案例：在机器学习测试数据质量背景下的概念与工具展示
软件工程
2023-12-11 v1 人工智能
机器学习
摘要
保证案例是安全工程中一种以结构化方式论证质量声明的方法。在基于机器学习（ML）的软件组件的质量保证背景下，保证案例也正在被讨论并显得很有前景。用于操作化保证案例的工具确实存在，但主要侧重于在系统层面支持安全工程师。然而，保证系统内 ML 组件的质量通常是数据科学家的责任，他们通常对这些工具不太熟悉。为了解决这一差距，我们提出了一个框架，基于数据科学家日常使用的技术（Python 和 Jupyter Notebook）来支持 ML 组件保证案例的操作化。我们的目标是使在保证案例中创建 ML 相关证据的过程更加有效。通过笔记本记录的框架应用结果可以集成到现有的保证案例工具中。我们通过一个关于测试数据质量的示例摘录来说明该框架的应用。
引用
@article{arxiv.2312.04917,
title = {Operationalizing Assurance Cases for Data Scientists: A Showcase of Concepts and Tooling in the Context of Test Data Quality for Machine Learning},
author = {Lisa Jöckel and Michael Kläs and Janek Groß and Pascal Gerber and Markus Scholz and Jonathan Eberle and Marc Teschner and Daniel Seifert and Richard Hawkins and John Molloy and Jens Ottnad},
journal= {arXiv preprint arXiv:2312.04917},
year = {2023}
}
备注
Accepted for publication at International Conference on Product-Focused Software Process Improvement (Profes 2023), https://conf.researchr.org/home/profes-2023