敏捷工作量估算：我们是否已解决问题？一项复制研究的启示
软件工程
2022-12-20 v2 机器学习
机器学习
摘要
在过去十年中，若干研究探索了用于估算敏捷软件开发工作量的自动化技术。我们对一项提出使用深度学习进行敏捷工作量估算（即 Deep-SE）的开创性工作进行了紧密复制与扩展，该工作自提出以来便确立了最先进水平（SOTA）。具体而言，我们复制了原始研究中的三个研究问题，旨在考察 Deep-SE 在项目的内部与跨项目工作量估算中的有效性。按照原始研究的方式，我们将 Deep-SE 与三个基线（即随机、均值和中位数工作量估算器）以及一种先前提出的敏捷软件项目开发工作量估算方法（称为 TF/IDF-SVM）进行基准比较。为此，我们使用了原始研究的数据以及从 TAWOS 挖掘的包含 31,960 个问题的额外数据集，因为使用更多数据可增强结果的可信度，并进一步缓解外部有效性威胁。我们的复制结果表明，Deep-SE 仅在极少数情况下以统计显著性优于中位数基线估算器和 TF/IDF-SVM（分别为 42 例中的 8 例和 32 例中的 9 例），从而混淆了先前关于 Deep-SE 有效性的发现。另外两个研究问题显示，无论是扩充训练集还是对 Deep-SE 进行预训练，都未能提升其准确率和收敛速度。这些结果表明，仅使用语义相似度不足以区分具有不同故事点的用户故事；因此，未来工作仍需探索并发现能够获得准确敏捷软件开发估算的新技术与新特征。
引用
@article{arxiv.2201.05401,
title = {Agile Effort Estimation: Have We Solved the Problem Yet? Insights From A Replication Study},
author = {Vali Tawosi and Rebecca Moussa and Federica Sarro},
journal= {arXiv preprint arXiv:2201.05401},
year = {2022}
}
备注
Accepted for publication in IEEE Transactions on Software Engineering (TSE, 2022)