利用潜空间插值生成真实、多样且能暴露故障的测试输入以测试深度神经网络
机器学习
2025-03-25 v1 软件工程
摘要
深度神经网络(DNN)已被广泛应用于包括安全关键系统在内的众多领域,因此需要全面的测试以确保其可靠性。尽管已提出众多 DNN 模型测试方法以生成能够揭示故障的对抗样本,但现有方法通常在输入空间中对样本进行扰动,然后基于 DNN 模型的反馈进行变异。这些方法往往导致生成的测试样本不够真实,且揭示故障的概率较低。为克服这些局限,我们提出一种黑盒 DNN 测试输入生成方法 ARGUS,用于生成真实、多样且能暴露故障的测试输入。ARGUS 首先将样本压缩至连续潜空间,然后通过将原始样本与不同类别的样本进行插值来实现扰动。随后,我们采用向量量化器与解码器将对抗样本重构回输入空间。此外,我们在潜空间与输入空间同时采用判别器以确保生成样本的真实性。对 ARGUS 与现有最优黑盒及白盒测试方法的对比评估表明,ARGUS 在生成相对于目标数据集而言真实且多样的对抗样本方面表现优异,并且 ARGUS 成功扰动了所有原始样本,错误率最高达到最优基线方法的 4 倍。此外,利用这些对抗样本进行模型再训练可提升模型的分类准确率。
引用
@article{arxiv.2503.17630,
title = {Generating Realistic, Diverse, and Fault-Revealing Inputs with Latent Space Interpolation for Testing Deep Neural Networks},
author = {Bin Duan and Matthew B. Dwyer and Guowei Yang},
journal= {arXiv preprint arXiv:2503.17630},
year = {2025}
}