DeepGD：一种面向深度神经网络的多目标黑盒测试选择方法
机器学习
2024-03-04 v5 性能
软件工程
摘要
深度神经网络（DNNs）广泛应用于图像处理、语音识别和自然语言处理等多种应用领域。然而，由于其输入域的复杂性与规模，测试DNN模型可能具有挑战性。特别是，测试DNN模型通常需要生成或探索大型无标签数据集。在实践中，用于识别输入正确输出的DNN测试预言机往往需耗费昂贵的人工标注成本，并可能涉及多位专家以确保标注正确性。本文提出DeepGD，一种面向DNN模型的黑盒多目标测试选择方法。它通过对大型无标签数据集中具有高错误揭示能力的测试输入进行优先选择，从而降低标注成本。DeepGD不仅选择具有高不确定性分数以触发尽可能多误预测输入的测试输入，还通过选择多样化的误预测输入来最大化揭示DNN模型中不同故障的概率。在四个广泛使用的数据集和五个DNN模型上的实验结果表明，在故障揭示能力方面：(1) 白盒、基于覆盖的方法表现不佳；(2) DeepGD在故障检测上优于现有黑盒测试选择方法；(3) 当使用所选输入扩充训练集时，DeepGD也能为DNN模型重训练提供更好的指导。
引用
@article{arxiv.2303.04878,
title = {DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks},
author = {Zohreh Aghababaeyan and Manel Abdellatif and Mahboubeh Dadkhah and Lionel Briand},
journal= {arXiv preprint arXiv:2303.04878},
year = {2024}
}