关于缺陷与非缺陷问题自动预测的可行性研究
软件工程
2021-10-11 v3
摘要
背景:问题跟踪系统用于跟踪和描述开发过程中的任务,例如所请求的功能改进或报告的缺陷。然而,过往研究表明,所报告的问题类型常常与问题的描述不符。目标:我们希望理解问题类型预测这一前沿技术的整体成熟度,旨在预测问题是否为缺陷,并评估能否通过引入关于问题的手动指定知识来改进现有模型。方法:我们针对问题的标题和描述训练不同的模型,以考虑这些字段之间结构上的差异(例如长度)。此外,我们手动检测描述中包含空指针异常的问题,因为这些是问题为缺陷的强指示。结果:我们的方法总体表现最佳,但与文献中基于 Facebook AI Research 的 fastText 分类器的方法无显著差异。预测性能上的微小提升源于我们所使用的关于问题的结构信息。我们发现,以空指针异常形式利用问题内容信息并无用处。我们通过标记缺陷修复提交这一示例展示了问题类型预测的实用性。结论:若用例允许遗漏一定数量的缺陷报告或可接受将过多问题预测为缺陷,则问题类型预测可成为一种有用的工具。
引用
@article{arxiv.2003.05357,
title = {On the feasibility of automated prediction of bug and non-bug issues},
author = {Steffen Herbold and Alexander Trautsch and Fabian Trautsch},
journal= {arXiv preprint arXiv:2003.05357},
year = {2021}
}