潜在空间类别离散：深度神经网络的有效测试数据质量评估
软件工程
2025-03-25 v1
摘要
高质量的测试数据集对于评估深度神经网络（DNN）的可靠性至关重要。突变测试基于其能否发现DNN中注入的故障来评估测试数据集的质量，测量为突变得分（MS）。同时，其高计算成本也促使研究人员寻求替代的测试充分性标准。我们提出潜在空间类别离散（LSCD），一种用于量化DNN测试数据集质量的新型指标。它测量测试数据集在DNN潜在空间中观察到的离散程度。我们的实证研究表明，LSCD揭示并量化了针对使用DNN进行图像分类任务的三个流行基准测试中测试数据集的缺陷。通过自动化模糊生成的边界情况被发现有助于增强故障检测并提高由MS和LSCD计算的原始测试集的整体质量。我们的实验显示，LSCD与MS之间存在很高的正相关性（0.87），显著高于已研究的基于距离的惊讶覆盖（0.25）。这些结果基于通过预训练突变算子生成的129个突变体，具有统计显著性和高置信度，同时边界情况的有效性得到验证。这表明LSCD可作为昂贵的突变测试的成本效益替代方案，无需生成突变模型，即可为DNN提供相当有价值的测试数据集质量见解。
引用
@article{arxiv.2503.18799,
title = {Latent Space Class Dispersion: Effective Test Data Quality Assessment for DNNs},
author = {Vivek Vekariya and Mojdeh Golagha and Andrea Stocco and Alexander Pretschner},
journal= {arXiv preprint arXiv:2503.18799},
year = {2025}
}