面向即时确保的 LLM 基于软件测试的硬化与捕获

尽管自动化软件测试数十年来取得了显著进展，但仍有若干基本概念尚未明确界定且探索不足，却蕴含巨大的实际影响潜力。我们表明，这些概念在大型语言模型（LLM）用于软件测试生成的语境中引发了激动人心的新挑战。更具体地，我们正式定义并探讨了硬化测试与捕获测试的性质。硬化测试是指旨在防止未来回归的测试，而捕获测试则是指捕获此类回归或由代码变更引入的新功能故障的测试。硬化测试可在任何时间生成，可能在未来捕获回归时成为捕获测试。我们还定义并阐述了捕获“即时”（Just-in-Time）测试（JiTTest）挑战，即在故障落地到生产环境之前生成测试以捕获新故障。我们表明，任何解决捕获 JiTTest 生成问题的方案，都可被 repurposed 以捕获遗留代码中的潜在故障。我们枚举了硬化测试、捕获测试与 JiTTests 的可能结果，讨论了开放的研究问题、部署选项以及来自 Meta 自动化 LLM 基于硬化测试初始结果。本文旨在伴随作者在 ACM 国际会议上关于软件工程基础会议（FSE 2025）的主题演讲而撰写。作者顺序为字母顺序。对应作者为 Mark Harman。