探索机器学习测试的实践——与 Axis Communications 的交互式快速综述经验
软件工程
2022-03-31 v1 人工智能
摘要
工业界与学术界对机器学习（ML）测试的兴趣日益增长。我们认为工业界与学术界需要共同学习以产生严谨且相关的知识。在本研究中，我们发起了一家案例公司、一家研究机构和一所大学的利益相关者之间的协作。为建立对问题领域的共同认识，我们应用了关于前沿技术的交互式快速综述。来自隆德大学和 RISE 研究院的四名研究人员以及来自 Axis Communications 的四名从业者审阅了 180 篇关于 ML 测试的初级研究。我们开发了一个围绕 ML 测试挑战与结果进行沟通的分类法，并确定了与 Axis Communications 相关的 12 个综述问题列表。三个最重要的问题（数据测试、评估指标与测试生成）被映射到文献中，并对与最重要问题（数据测试）匹配的 35 篇初级研究进行了深入分析。对最终五篇最佳匹配进行了分析，并反思了工业界适用性与相关性的标准。该分类法有助于沟通但尚非最终版本。此外，没有与案例公司所调研的综述问题（数据测试）完全匹配的研究。然而，我们从概念层面从五篇研究中提取了相关方法以支持后续特定情境的改进。我们发现交互式快速综述方法对于触发和协调不同利益相关者之间的沟通十分有用。
引用
@article{arxiv.2203.16225,
title = {Exploring ML testing in practice -- Lessons learned from an interactive rapid review with Axis Communications},
author = {Qunying Song and Markus Borg and Emelie Engström and Håkan Ardö and Sergio Rico},
journal= {arXiv preprint arXiv:2203.16225},
year = {2022}
}
备注
Accepted for publication in the Proc. of CAIN 2022 - 1st International Conference on AI Engineering - Software Engineering for AI