SBFT 工具竞赛 2024——Python 测试用例生成赛道

由于 Python 语言的动态特性和缺乏严格的类型信息，其测试用例生成（TCG）面临独特的挑战。先前的研究已成功探索了 Python 的自动化单元测试用例生成，其解决方案优于随机测试生成方法。然而，根本性问题依然存在，阻碍了现有测试用例生成器的实际应用。为应对这些挑战，我们报告了首届 Python 测试竞赛的组织、挑战和结果。四个工具，即 UTBotPython、Klara、Hypothesis Ghostwriter 和 Pynguin，在一个由 7 个开源 Python 项目中抽取的 35 个 Python 源文件组成的基准集上运行，时间预算为 400 秒。我们为每个测试对象考虑了每个工具的一种配置，并根据代码覆盖率和变异覆盖率评估了工具的有效性。本文描述了我们的方法论、对结果及参赛工具的分析，以及在运行竞赛实验时面临的挑战。