软件工作量估算的负面结果
摘要
Context: 关于软件工作量估算（SEE）的文献中，超过一半聚焦于新估算方法的比较。令人惊讶的是，没有研究将最先进的近期方法与数十年前的方法进行比较。Objective: 检验新的 SEE 方法是否比旧方法产生更好的估算。Method: 首先，收集从“经典”COCOMO（基于一组预先确定属性的参数化估算）到“现代”（利用基于谱的聚类加上实例与特征选择进行类比推理，以及近期在《ACM Transactions on Software Engineering》中提出的“基线方法”）的估算方法。其次，列举导致后 COCOMO 估算方法发展的反对意见列表。第三，将每个反对意见刻画为新方法与旧方法之间的比较。第四，使用四个 COCOMO 风格的数据集（来自 1991、2000、2005、2010 年）运行那些比较实验。第五，使用 Scott-Knott 过程比较不同估算器的性能，该过程采用（i）A12 效应量以排除“微小”差异，以及（ii）99% 置信的 bootstrap 过程以检验处理组的统计显著差异。Results: 本文的主要负面结果是，对于 COCOMO 数据集，我们所研究的没有任何方法优于 Boehm 的原始过程。Conclusions: 当存在 COCOMO 风格属性时，我们强烈推荐（i）使用该数据，且（ii）使用 COCOMO 生成预测。我们如此说是因为本文实验表明，至少对于工作量估算而言，数据如何收集比将何种学习器应用于该数据更为重要。
引用
@article{arxiv.1609.05563,
title = {Negative Results for Software Effort Estimation},
author = {Tim Menzies and Ye Yang and George Mathew and Barry Boehm and Jairus Hihn},
journal= {arXiv preprint arXiv:1609.05563},
year = {2016}
}
备注
22 pages, EMSE 2016 accepted submission. Affiliated to "Jet Propulsion Laboratory, California Institute of Technology"