大型工业数据库管理系统中flaky测试的实证研究：基于SAP HANA固定问题报告

flaky测试在对同一版本源代码执行多次时会产生不同结果。因此，它们提供关于代码质量的模糊信号，并干扰自动化代码变更评估。虽然各种因素可以导致测试不稳定，但针对特定原因的修复方法通常是针对特定情况而设计的。然而，取决于编程语言、应用程序域或软件项目规模，flaky测试的常见根本原因会有所不同。由于手动标记flaky测试耗时且乏味，本工作提出一种LLM作为注释员的方法，利用 intra-和 inter-model一致性来标记与固定flakiness问题相关的issue报告的相关根本原因类别。这允许我们获得flaky测试类别的概览。我们在大型工业数据库管理系统SAP HANA的上下文中评估了我们的标记方法。我们的结果表明，SAP HANA的测试最常受到与并发性相关的问题的影响(23%，共559个分析过的issue报告中挑选出130个)。此外，我们的结果表明，不同类型的测试面临不同的flakiness挑战。因此，我们鼓励未来的研究在考虑不同测试类型上所提出方法的可推广性进行评估。