DeepGini：优先化海量测试以增强深度神经网络的鲁棒性
软件工程
2020-06-16 v2
摘要
深度神经网络（DNN）已被部署于许多软件系统中以辅助各种分类任务。在分类效果出色的同时，DNN 也可能表现出错误行为并导致事故与损失。因此，能够检测 DNN 错误行为并提升 DNN 质量的测试技术极为必要且关键。然而，为给定输入定义正确输出的测试预言机在自动化测试中往往不可用。为获取预言机信息，基于 DNN 的系统的测试任务通常需要昂贵的人力来标注测试数据，这显著拖慢了质量保证的进程。为缓解该问题，我们提出 DeepGini，一种基于 DNN 统计视角设计的测试优先化技术。该统计视角使我们将误分类概率的度量问题化简为集合不纯度的度量问题，从而能够快速识别可能误分类的测试。为评估，我们在流行数据集和主流 DNN 模型上进行了广泛的实证研究。实验结果表明，在测试优先化的有效性与效率方面，DeepGini 均优于现有的基于覆盖的技术。同时，我们观察到，相较于基于覆盖的技术，由 DeepGini 排在前列优先化的测试在提升 DNN 质量方面更为有效。
引用
@article{arxiv.1903.00661,
title = {DeepGini: Prioritizing Massive Tests to Enhance the Robustness of Deep Neural Networks},
author = {Yang Feng and Qingkai Shi and Xinyu Gao and Jun Wan and Chunrong Fang and Zhenyu Chen},
journal= {arXiv preprint arXiv:1903.00661},
year = {2020}
}