自动生成测试中新质量问题的手动分类
软件工程
2023-12-15 v1
摘要
多项研究通过使用测试坏味作为主要质量属性来分析自动生成测试用例的质量。但最近的工作报告称，生成的测试可能会出现先前研究中未必考虑到的诸多质量问题。目前对这些质量问题及其在生成测试中的出现频率知之甚少。在本文中，我们报告了对一个包含 2,340 个自动生成测试的外部数据集的手动分析。该分析旨在检测过去公认的测试坏味未涵盖的新质量问题。我们使用主题分析对发现的新质量问题进行分组和分类。作为结果，我们提出了一个包含 13 个新质量问题的分类法，分为四类。我们还报告了这些新质量问题在数据集中的出现频率，并提出了八条建议，供测试生成器参考以提高自动生成测试的质量和实用性。
引用
@article{arxiv.2312.08826,
title = {A manual categorization of new quality issues on automatically-generated tests},
author = {Geraldine Galindo-Gutierrez and Narea Maxilimiliano and Blanco Alison Fernandez and Nicolas Anquetil and Alcocer Juan Pablo Sandoval},
journal= {arXiv preprint arXiv:2312.08826},
year = {2023}
}