DevMuT：基于开发者专长的深度学习框架变异测试
软件工程
2025-07-08 v1
摘要
深度学习（DL）框架是各种DL应用的基础设施，框架缺陷可能引发严重事故，因此需要充分的检测。以往研究采用DL模型作为测试输入并结合变异技术以生成更具多样性的模型。尽管这些方法展现出良好的效果，但大多数检测到的缺陷被视为次要问题（即要么被视为边缘情况，要么被开发者忽略）。为识别对开发者至关重要的重要缺陷，我们提出了一种新颖的深度学习框架测试方法 DevMuT，该方法依据开发者专长推导的变异算子和约束来生成模型。DevMuT 模拟开发者在开发过程中常见的操作，并在深度学习模型生命周期的多个阶段（如模型训练和推理）检测更具多样性的缺陷。我们在三个广泛使用的深度学习框架（即 PyTorch、JAX 和 MindSpore）上对 DevMuT 进行了评估，涉及来自九种行业任务的 29 个深度学习模型。实验结果表明，DevMuT 在生成模型的多样性方面优于最先进的基线方法，平均提升了至少 71.68%；在生成模型的合法性方面，平均提升了 28.20%。此外，DevMuT 检测到 117 个缺陷，其中 63 个已确认、24 个已修复，另有 8 个经开发者确认的高价值缺陷。DevMuT 自 2023 年 12 月起已在 MindSpore 社区部署。这充分证明了 DevMuT 在检测接近真实场景且对开发者具有关切的缺陷方面的有效性。
引用
@article{arxiv.2507.04360,
title = {DevMuT: Testing Deep Learning Framework via Developer Expertise-Based Mutation},
author = {Yanzhou Mu and Juan Zhai and Chunrong Fang and Xiang Chen and Zhixiang Cao and Peiran Yang and Yinglong Zou and Tao Zheng and Zhenyu Chen},
journal= {arXiv preprint arXiv:2507.04360},
year = {2025}
}
备注
12 pages, 8 figures