TEASMA：一种用于深度神经网络测试充分性评估的实用方法学
软件工程
2024-10-21 v4
摘要
深度神经网络(DNN)的成功部署需要以充分的测试集对其进行验证，以确保对测试结果有足够程度的置信。尽管已提出完善的DNN测试充分性评估技术，我们仍须在其应用于综合方法学以准确预测测试集的故障检测能力从而评估其充分性方面开展研究。本文提出并评估了TEASMA，一种旨在准确评估DNN测试集充分性的综合实用方法学。实践中，TEASMA使工程师能够决定是否可信赖高精度的测试结果，从而在部署前验证DNN。基于DNN模型的训练集，TEASMA提供了一种流程，利用现有充分性度量构建准确的DNN专用测试集故障检测率(FDR)预测模型，从而实现充分性评估。我们使用四种前沿测试充分性度量对TEASMA进行了评估：基于距离的惊奇覆盖(DSC)、基于似然的惊奇覆盖(LSC)、输入分布覆盖(IDC)与变异得分(MS)。我们在多个DNN模型及ImageNet等输入集上的广泛实证评估表明，由MS、DSC和IDC得出的预测与实际FDR值之间存在强线性相关性，MS的最小R^2值为0.94，DSC和IDC为0.90。此外，当依赖回归分析与MS时，所有受试对象实际与预测FDR值间的平均均方根误差(RMSE)低至9%，表明MS相较于DSC和IDC具有更优精度，后两者RMSE值分别为0.17和0.18。总体而言，这些结果表明TEASMA为自信决定是否信赖DNN模型测试结果提供了可靠基础。
引用
@article{arxiv.2308.01311,
title = {TEASMA: A Practical Methodology for Test Adequacy Assessment of Deep Neural Networks},
author = {Amin Abbasishahkoo and Mahboubeh Dadkhah and Lionel Briand and Dayi Lin},
journal= {arXiv preprint arXiv:2308.01311},
year = {2024}
}