DeepGauge：深度学习系统的多粒度测试准则
软件工程
2018-08-16 v4 密码学与安全
机器学习
机器学习
摘要
深度学习定义了一种新的数据驱动编程范式，通过一组训练数据构建人工神经网络系统的内部逻辑。我们已看到 DL 在许多安全攸关场景中的广泛应用。然而，大量研究表明，SOTA DL 系统存在各种漏洞，在应用于实际场景时可能导致严重后果。目前，DL 系统的测试充分性通常由测试数据的准确率来衡量。考虑到可获取的高质量测试数据有限，测试数据上的良好准确率表现很难为 DL 系统的测试充分性和泛化性提供信心。传统软件系统具有清晰可控的逻辑和功能，而 DL 系统缺乏可解释性，使得系统分析和缺陷检测变得困难，这可能阻碍其在实际中的部署。在本文中，我们提出了 DeepGauge，一套面向 DL 系统的多粒度测试准则，旨在提供对测试平台的多方面刻画。我们在两个知名数据集、五个 DL 系统上，并使用四种 SOTA 对抗攻击技术，展示了我们提出的测试准则的深入评估。DeepGauge 的潜在有效性为构建更具泛化性和鲁棒性的 DL 系统提供了启示。
引用
@article{arxiv.1803.07519,
title = {DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems},
author = {Lei Ma and Felix Juefei-Xu and Fuyuan Zhang and Jiyuan Sun and Minhui Xue and Bo Li and Chunyang Chen and Ting Su and Li Li and Yang Liu and Jianjun Zhao and Yadong Wang},
journal= {arXiv preprint arXiv:1803.07519},
year = {2018}
}
备注
The 33rd IEEE/ACM International Conference on Automated Software Engineering (ASE 2018)