愿反馈与你同在！通过 LLM 释放反馈驱动的深度学习框架模糊测试之力量

Shaoyu Yang; Chunrong Fang; Haifeng Lin; Xiang Chen; Jia Liu; Zhenyu Chen

愿反馈与你同在！通过 LLM 释放反馈驱动的深度学习框架模糊测试之力量

软件工程 2026-01-21 v4

作者: Shaoyu Yang , Chunrong Fang , Haifeng Lin , Xiang Chen , Jia Liu , Zhenyu Chen

摘要

在过去十年中，深度学习（DL）框架一直作为 DL 系统的基础组件。然而，DL 框架中的 Bug 在关键场景下可能导致灾难性后果。发现 DL 框架中 Bug 的一种简单而有效的方法是模糊测试。现有方法侧重于测试生成，而将具有高语义价值的执行结果（如覆盖率信息、Bug 报告和异常日志）弃置不用，这些结果可以作为多种类型的反馈。为了填补这一空白，我们提出 FUEL 以有效利用反馈信息，它由两个大语言模型（LLM）组成：分析 LLM 和生成 LLM。具体而言，分析 LLM 从反馈信息中推断分析摘要，而生成 LLM 在这些摘要的指导下创建测试。此外，基于多重反馈指导，我们设计了两个额外组件：用于为测试生成选择算子的反馈感知模拟退火算法，以丰富测试多样性。程序自修复策略，用于自动修复无效测试，提高测试有效性。我们在两个最流行的 DL 框架上评估了 FUEL，实验结果表明，与四个最先进的基线相比，FUEL 可以将 PyTorch 和 TensorFlow 的行代码覆盖率分别提高 4.48% 和 9.14%。截至提交之时，FUEL 已为 PyTorch 和 TensorFlow 检测到 104 个先前未知的 Bug，其中 93 个被确认为新 Bug，53 个已被修复。14 个漏洞已被分配 CVE ID，其中 7 个被评为高严重性，CVSS 评分为“7.5 HIGH”。我们的工件可在 https://github.com/NJU-iSE/FUEL 获取

关键词

模糊测试深度学习框架大语言模型反馈驱动自动化 Bug 检测

引用

@article{arxiv.2506.17642,
  title  = {May the Feedback Be with You! Unlocking the Power of Feedback-Driven Deep Learning Framework Fuzzing via LLMs},
  author = {Shaoyu Yang and Chunrong Fang and Haifeng Lin and Xiang Chen and Jia Liu and Zhenyu Chen},
  journal= {arXiv preprint arXiv:2506.17642},
  year   = {2026}
}

愿反馈与你同在！通过 LLM 释放反馈驱动的深度学习框架模糊测试之力量

摘要

关键词

引用

相关论文