深度学习系统的组合测试
软件工程
2018-06-21 v1 人工智能
密码学与安全
摘要
深度学习（DL）在过去十年取得了显著进展，并广泛应用于许多安全关键应用。然而，DL 系统的鲁棒性近来受到极大关注，例如针对计算机视觉系统的对抗样本，可能潜在导致严重后果。采用测试技术有助于评估 DL 系统的鲁棒性，从而在早期阶段发现漏洞。测试此类系统的主要挑战在于其运行时状态空间过于庞大：若将每个神经元视为 DL 的运行时状态，则 DL 系统常包含海量状态，使得逐一测试几乎不可能。对于传统软件，组合测试（CT）是一种有效的测试技术，可在缩减测试空间的同时获得较高的缺陷检测能力。本文中，我们对 DL 系统上的 CT 进行了探索性研究。我们改造 CT 中的概念，提出了一组面向 DL 系统的覆盖准则，以及一种 CT 覆盖引导的测试生成技术。我们的评估表明，CT 为测试 DL 系统提供了一条有前景的途径。我们进一步提出了若干开放问题与关于 DL 系统组合测试的有趣方向。
引用
@article{arxiv.1806.07723,
title = {Combinatorial Testing for Deep Learning Systems},
author = {Lei Ma and Fuyuan Zhang and Minhui Xue and Bo Li and Yang Liu and Jianjun Zhao and Yadong Wang},
journal= {arXiv preprint arXiv:1806.07723},
year = {2018}
}