基于差异行为准则的深度学习系统自动化测试
机器学习
2020-01-01 v1 机器学习
摘要
本工作中，我们开展了一项基于差异行为准则构建深度学习系统自动化测试的研究。该自动化测试目标通过联合优化两个目标函数实现：最大化被测模型的差异行为，以及最大化神经元覆盖率。通过在每次测试迭代中观察三个预训练模型的差异行为，触发错误反馈的输入图像被记录为极端情况（corner-case）。生成的极端情况可用于检验 DNN 的鲁棒性，从而提升模型精度。项目 DeepXplore 亦被用作基线模型。在我们完整实现并优化基线系统后，探索了其作为利用新生成极端情况扩充训练数据集的应用。在 GTRSB 数据集上，通过基于自动生成极端情况重训练模型，三个通用模型的精度分别提升了 259.2%、53.6% 与 58.3%。进一步，为扩展自动化测试能力，我们探索了基于差异行为准则为深度学习系统生成照片级真实图像的其他方法。一种方法是对种子图像施加多种变换以用于深度学习框架；另一种方法是利用生成对抗网络（GAN）技术，其在 MNIST 与 Driving 数据集上实现。风格迁移能力在增添额外视觉效果、替换图像元素及风格转换（虚拟图像至真实图像）方面被观察到极为有效。基于 GAN 的测试样本生成系统被表明是深度学习系统自动化测试的下一片前沿。
引用
@article{arxiv.1912.13258,
title = {Automated Testing for Deep Learning Systems with Differential Behavior Criteria},
author = {Yuan Gao and Yiqiang Han},
journal= {arXiv preprint arXiv:1912.13258},
year = {2020}
}
备注
8 pages, 9 figures