厘清众包测试中的混淆
软件工程
2019-04-19 v2
摘要
众包测试（crowdtesting）是有效的，尤其在涉及GUI系统反馈或关于功能的主观意见时。尽管如此，我们发现众包测试报告高度重复，即其中82%是其他报告的复本。因此自动检测重复报告有助于减少分诊工作量。现有多数方法主要采用文本信息进行重复检测，并因表达差异而准确率低下。我们对真实工业众包测试数据的观察发现，在处理GUI系统的众包测试报告时，报告会附带图像，即应用的截图。我们假设截图对重复众包测试报告检测颇具价值，因其反映故障真实场景且不受自然语言多样性影响。本工作中，我们提出一种重复检测方法TSDetector，其结合截图与文本描述信息来检测重复众包测试报告。我们提取四类特征以刻画截图与文本描述，并设计了一种基于分别源自四种不同特征的四个相似度得分来检测重复报告的算法。我们在来自中国最大众包测试平台之一、含4,172份报告的15个商业项目上考察了TSDetector的有效性与优势。结果表明TSDetector能显著优于现有最先进（SOTA）方法。此外，我们还通过真实案例研究评估了其有用性。来自真实测试人员的反馈证明了其实用价值。
引用
@article{arxiv.1805.02763,
title = {Cutting Away the Confusion From Crowdtesting},
author = {Junjie Wang and Mingyang Li and Song Wang and Tim Menzies and Qing Wang},
journal= {arXiv preprint arXiv:1805.02763},
year = {2019}
}
备注
12 pages