超越准确率：经验数据的投资回报率驱动数据分析

本愿景论文表明，在进行数据分析（Data Analytics, DA）时考虑投资回报率（Return-on-Investment, ROI）至关重要。“需要多少分析？”这一决策难以回答。ROI 可针对给定问题的何种（What?）、如何（How?）以及多少（How Much?）分析提供决策支持。方法：所提出的概念框架通过两项聚焦于 Mozilla Firefox 项目中需求依赖抽取的实证研究得以验证。两个案例研究为（i）评估微调 BERT 相对于 Naive Bayes 与 Random Forest 机器学习器在二元依赖分类上的表现，以及（ii）主动学习相对于被动学习（随机采样）在 REQUIRES 依赖抽取上的表现。针对两种情形，均估算了其分析投入（成本），并预测了 DA 可获得的收益，以确定研究的盈亏平衡点。结果：第一项研究中，微调 BERT 在可用训练数据超过 40% 时表现优于 Random Forest。第二项研究中，主动学习在更少迭代次数内取得了更高的 F1 准确率及比基线（基于随机采样的 RF 分类器）更高的 ROI。两项研究均通过盈亏平衡点指出了“多少分析可能回报所投入的努力？”的估计。结论：经验数据 DA 的深度与广度决策不应仅基于准确率度量。由于 ROI 驱动的数据分析提供了一种简单而有效的方向，可在考量各类分析的成本与价值时发现何时停止进一步调查，它有助于避免过度分析经验数据。