机器学习需求工程的现状与问题：一项国际调查的结果
软件工程
2023-10-11 v1
摘要
使用机器学习 (ML) 的系统对于希望改进其产品和流程的公司已变得普遍。文献表明，需求工程 (RE) 可帮助解决工程化 ML 赋能系统时的诸多问题。然而，关于 RE 如何在 ML 赋能系统的实践中的应用，其实证证据现状主要由孤立的案例研究主导，泛化能力有限。我们开展了一项国际调查，以收集从业者对 ML 赋能系统中 RE 现状与问题的见解。我们收集了来自 25 个国家的 188 份完整回复。我们使用带置信区间的自助法对当代实践进行了定量统计分析，并对报告的问题通过开放和轴向编码程序进行了定性分析。我们发现 ML 项目中的 RE 实践存在显著差异。例如，(i) RE 相关活动主要由项目领导者和数据科学家执行，(ii) 流行的需求文档格式涉及交互式 Notebook，(iii) 非功能需求的主要焦点包括数据质量、模型可靠性和模型可解释性，(iv) 主要挑战包括管理客户期望以及使需求与数据对齐。定性分析揭示从业者面临与缺乏业务领域理解、目标和需求不明确、客户参与度低以及沟通问题相关的困难。这些结果有助于更好地理解所采用的实践以及实际环境中存在的问题。我们提出需要进一步调整并推广用于工程化 ML 赋能系统的 RE 相关实践。
引用
@article{arxiv.2310.06726,
title = {Status Quo and Problems of Requirements Engineering for Machine Learning: Results from an International Survey},
author = {Antonio Pedro Santos Alves and Marcos Kalinowski and Görkem Giray and Daniel Mendez and Niklas Lavesson and Kelly Azevedo and Hugo Villamizar and Tatiana Escovedo and Helio Lopes and Stefan Biffl and Jürgen Musil and Michael Felderer and Stefan Wagner and Teresa Baldassarre and Tony Gorschek},
journal= {arXiv preprint arXiv:2310.06726},
year = {2023}
}
备注
Accepted for Publication at PROFES 2023