中文

大语言模型与变形测试的双向赋能:系统综述

软件工程 2026-05-15 v1

摘要

大型语言模型 (LLM) 由于其生成性、概率性和开放性,为软件质量保证带来了 substantial 挑战,这加剧了 oracle 题目的难度,并限制了传统测试方法的适用性。变形测试 (MT),该方法通过检查多个相关执行之间的必需关系来代替依赖于精确预期输出的方式,已成为测试 LLM 和其他 oracle 缺乏系统的有前景的方法。与此同时,LLM 强大的语义理解、推理和代码生成能力为自动化传统上耗时的 MT 各个阶段提供了新的机遇。本综述系统性地审查了 93 项原始研究,并将这种相互关系表述为 MT 和 LLM 之间的双向赋能。我们提出了一个覆盖两个互补方向的分类法:一种是 MT for LLMs,这使用 MT 来验证、验证、评估和理解 LLM 和 LLM-based 系统,涵盖幻觉、公平性、鲁棒性、代码可靠性、检索增强生成、对话和自主代理等问题;另一种是 LLMs for MT,这利用 LLM 支持变形关系发现、输入转换和合成、可执行测试实现以及代理式闭环测试。通过综合这些发展,本综述为理解 MT 和 LLM 之间日益演变的协同作用提供了结构化基础,并指出了为构建更严谨、更可扩展、更可信赖的 AI 质量保证方法论的未来方向。

关键词

引用

@article{arxiv.2605.13898,
  title  = {Bidirectional Empowerment of Metamorphic Testing and Large Language Models: A Systematic Survey},
  author = {Zheng Zheng and Zenghui Zhou and Yinwang Xu and Daixu Ren and Tsong Yueh Chen},
  journal= {arXiv preprint arXiv:2605.13898},
  year   = {2026}
}

备注

Daixu Ren is the corresponding author