基于模型变异的深度学习框架测试：我们还有多远？

深度学习（DL）框架是DL开发的基础组件。因此，DL框架缺陷的检测既重要又具挑战性。作为最广泛采用的DL测试技术之一，模型变异最近受到了广泛关注。在本研究中，我们重新审视了现有基于变异的测试方法的缺陷检测能力，并调查了影响其有效性的因素。首先，我们回顾了现有方法，观察到其中许多方法在没有任何定制的情况下对DL模型进行变异（例如，更改其参数），忽略了框架测试中的独特挑战。这些方法的另一个问题是其有效性有限，表现为由于使用通用的、非定制的变异算子而产生的非法变异导致的高误报率。此外，我们跟踪了这些方法识别出的缺陷，发现其中大部分被开发者忽略。受这些观察的启发，我们调查了现有基于变异的测试方法在检测已被框架开发者认证的重要缺陷方面的有效性。我们首先从三个流行的框架中收集缺陷报告，并根据框架开发者的评级对其进行分类，以构建一个全面的数据集。然后，我们进行深入分析以揭示有价值的见解。基于我们的发现，我们提出了优化策略以解决现有方法的不足。经过这些优化，我们发现了七个新缺陷，其中四个被开发者确认为高优先级问题，三个已被解决。总而言之，我们在仅23个模型中识别出39个独立缺陷，其中31个被开发者确认，八个已被修复。