FlaKat：一种基于机器学习的Flaky测试分类框架
软件工程
2024-03-05 v1 人工智能
摘要
Flaky测试可以在软件系统未作更改的情况下非确定性地通过或失败。开发者经常遇到此类测试，它们会损害测试套件的可信度。最先进的研究将机器学习解决方案引入Flaky测试检测，并取得了相当好的准确率。此外，大多数自动化的Flaky测试修复解决方案是为特定类型的Flaky测试设计的。本研究提出了一种名为FlaKat的新型分类框架，该框架使用机器学习分类器，快速且准确地预测给定Flaky测试所属的类别，以反映其根本原因。我们应用采样技术来解决Flaky测试国际数据集（IDoFT）中各类别之间的不平衡问题。提出了一种名为Flakiness Detection Capacity (FDC)的新评估指标，用于从信息论角度衡量分类器的准确性，并证明了其有效性。最终的FDC结果与F1分数在判断哪个分类器能产生最佳Flaky分类上保持一致。
引用
@article{arxiv.2403.01003,
title = {FlaKat: A Machine Learning-Based Categorization Framework for Flaky Tests},
author = {Shizhe Lin and Ryan Zheng He Liu and Ladan Tahvildari},
journal= {arXiv preprint arXiv:2403.01003},
year = {2024}
}