基于深度图文融合理解的移动应用众包测试报告一致性检测
软件工程
2023-06-13 v3
摘要
众包测试作为一种独特的测试范式，在软件测试尤其是移动应用（app）测试领域引起了广泛关注。与内部测试相比，众包测试在面对移动测试碎片化问题时，凭借多样化的测试环境展现出优越性。然而，由于参与的非专业众包工作者具备不同专业背景，众包测试也遭遇了低质量测试报告的问题。为了处理提交的质量参差不齐的报告，应用开发者必须区分高质量与低质量报告以辅助缺陷排查。一类典型的低质量测试报告是不一致测试报告，即文本描述未聚焦于所附的缺陷发生截图。根据我们的实证调查，仅有18.07%的众包测试报告是一致的。不一致报告造成了移动应用测试的浪费。为解决不一致问题，我们提出ReCoDe，通过深度图文融合理解来检测众包测试报告的一致性。ReCoDe是一种两阶段方法，首先根据缺陷特征基于文本描述将报告分类为不同类别。在第二阶段，ReCoDe深度理解应用截图的GUI图像特征，然后应用不同策略处理不同类型缺陷以检测众包测试报告的一致性。我们在包含超过22k份测试报告的数据集上进行了实验来评估ReCoDe，结果表明ReCoDe在检测众包测试报告一致性方面的有效性。此外，我们开展了用户研究，证明ReCoDe在有效帮助应用开发者提升审查众包测试报告效率方面的实用价值。
引用
@article{arxiv.2108.07401,
title = {Mobile App Crowdsourced Test Report Consistency Detection via Deep Image-and-Text Fusion Understanding},
author = {Shengcheng Yu and Chunrong Fang and Quanjun Zhang and Zhihao Cao and Yexiao Yun and Zhenfei Cao and Kai Mei and Zhenyu Chen},
journal= {arXiv preprint arXiv:2108.07401},
year = {2023}
}