GAN-enhanced Simulation-driven DNN Testing in Absence of Ground Truth

通过驱动搜索算法的模拟器生成合成输入对于成本效益地测试深度神经网络（DNN）组件至关重要。然而，在许多应用中，模拟器无法产生自动化测试信使和指导搜索过程所需的真实数据。为解决此问题，我们提出了一种用于计算机视觉 DNN 输入生成的方法，该方法集成了一个生成网络以确保模拟器保真度，并采用基于转换一致性、噪声鲁棒性、惊讶 adequacy 和不确定性估计的启发式搜索适应度。我们比较了我们的适应度与传统信使函数的性能，后者依赖于真实数据；进一步评估了不利用真实数据的 GAN 集成对测试和再训练效果的影响。我们的结果表明，利用转换一致性是生成 DNN 测试和再训练输入的最佳选择；它最大化了输入多样性，识别导致 DNN 性能更差的输入，并在再训练后实现最佳的 DNN 性能。除了使基于模拟器的测试在缺乏真实数据的情况下成为可能，我们的发现为使用 diffusion 和大语言模型取代昂贵模拟器的测试解决方案铺平了道路，这类模型虽然比模拟器更可负拔，但无法生成真实数据。