多少数据分析才算足够？机器学习分类的投资回报率及其在需求依赖分类中的应用
软件工程
2021-09-30 v1 信息检索
机器学习
摘要
机器学习（ML）可以大幅提高组织的效率和有效性，并广泛应用于软件工程中的不同目的。然而，ML 技术的选择和实施几乎完全依赖于准确率标准。因此，对于希望实现 ML 投资效益的组织而言，这种狭隘的方法忽略了围绕 ML 生命周期中 ML 活动预期成本的关键考量，同时未能考虑拟议活动可能带来的收益。我们提出了一种方法的研究结果，该方法通过将投资回报率（ROI）考量纳入准确率标准来解决这一差距。具体而言，我们基于准确率和 ROI 分析了两种最先进的 ML 技术：随机森林和 Transformer 的双向编码器表示（BERT）在两个公开可用数据集上的性能。具体而言，我们比较了在需求依赖提取上的决策过程：(i) 仅基于准确率，以及 (ii) 扩展为包含 ROI 分析。因此，我们提出了基于所用训练数据程度的 ML 分类技术选择建议。我们的研究结果表明，与仅以准确率作为唯一标准的决策相比，将 ROI 作为附加标准可以极大地影响 ML 的选择。
引用
@article{arxiv.2109.14097,
title = {How Much Data Analytics is Enough? The ROI of Machine Learning Classification and its Application to Requirements Dependency Classification},
author = {Gouri Deshpande and Guenther Ruhe and Chad Saunders},
journal= {arXiv preprint arXiv:2109.14097},
year = {2021}
}
备注
15 pages, 13 figures, Journal