基于搜索的测试用例生成中超参数调优的实用方法
软件工程
2021-01-15 v1
摘要
基于搜索的测试用例生成，即应用元启发式搜索来生成测试用例，近来已在文献中得到大量研究。由于理论上元启发式搜索方法的性能高度依赖于其超参数，因此有必要在该领域研究超参数调优。本文提出一种新的度量（“调优增益”，Tuning Gain），用于估计对某个特定类进行调优的性价比。随后，我们利用源代码类的静态特征预测“调优增益”。最后，基于估计的“调优增益”对类进行调优优先级排序，并仅将调优预算花费在排名靠前的类上。为评估我们的方法，我们对来自 SF110 和 SBST2018 工具竞赛等基准的 19 个项目的 250 个类，针对著名的基于搜索的测试生成工具（EvoSuite）的 1,200 种超参数配置进行了穷举分析。我们采用了一种称为 Meta-GA 的调优方法，并将采用所提类优先级排序与未采用的调优结果进行了比较。结果表明，在低调优预算下，类优先级排序在额外覆盖分支方面优于其他方案（是传统全局调优的 10 倍）。此外，我们报告了方法中不同特征（如搜索空间大小、调优预算、调优算法以及待调优类数量）对最终结果的影响。
引用
@article{arxiv.2101.05738,
title = {A Pragmatic Approach for Hyper-Parameter Tuning in Search-based Test Case Generation},
author = {Shayan Zamani and Hadi Hemmati},
journal= {arXiv preprint arXiv:2101.05738},
year = {2021}
}