中文

基于大型语言模型的创新方法:重新定义众包测试报告优先级

软件工程 2024-11-27 v1

摘要

背景:众包测试在软件测试中尤其是移动应用测试中因其带来多样性并能解决碎片化问题而受到欢迎,但众包测试的开放性带来了诸多挑战,尤其是对大量测试报告的手动审查既费时又费力。目标:本研究的主要目标是提高众包测试报告审查流程的效率。传统的测试报告优先级方法缺乏对这些报告文本描述中语义信息的深入理解。本文提出了 LLMPrior 方法,用于使用大型语言模型 (LLM) 对众包测试报告进行优先级排序。方法:LLMPrior 利用大型语言模型对众包测试报告根据其揭露的错误类型进行分析和聚类。这涉及使用提示工程技术来提高大型语言模型的性能。聚类后,将应用循环选择算法对报告进行优先级排序。结果:通过实证实验评估 LLMPrior 的有效性。研究发现,LLMPrior 不仅在性能上超过当前最先进的方法,而且更具可行性、效率和可靠性。这一成功归功于提示工程技术和基于聚类的优先级排序策略。结论:LLMPrior 代表了众包测试报告优先级排序的重大进步。通过有效利用大型语言模型和基于聚类的策略,它解决了传统优先级方法中的挑战,为处理众包测试报告提供了更高效、更可靠的解决方案。

关键词

引用

@article{arxiv.2411.17045,
  title  = {Redefining Crowdsourced Test Report Prioritization: An Innovative Approach with Large Language Model},
  author = {Yuchen Ling and Shengcheng Yu and Chunrong Fang and Guobin Pan and Jun Wang and Jia Liu},
  journal= {arXiv preprint arXiv:2411.17045},
  year   = {2024}
}

备注

Accepted by Information and Software Technology in Nov 2024