DeepCruiser：面向有状态深度学习系统的自动化引导测试
软件工程
2018-12-14 v1 人工智能
密码学与安全
机器学习
摘要
深度学习（DL）定义了一种数据驱动的编程范式，可从训练数据中自动构建系统决策逻辑。伴随着过去十年的数据爆发与硬件加速，DL 在许多前沿应用中取得了巨大成功。然而，即便是最先进的 DL 系统仍面临质量与可靠性问题。直到最近，才在测试前馈 DL 系统方面取得一些初步进展。与前馈 DL 系统不同，循环神经网络（RNN）遵循截然不同的架构设计，通过循环与内部状态实现时间行为与记忆。RNN 的这种有状态特性使其在处理音频、自然语言和视频处理等序列输入时取得成功，但也给质量保证带来了新挑战。本文中，我们迈出测试基于 RNN 的有状态 DL 系统的第一步。我们将 RNN 建模为抽象状态转移系统，并基于此定义了一组专用于有状态 DL 系统的测试覆盖准则。此外，我们提出了一种自动化测试框架 DeepCruiser，它以覆盖率为引导系统地大规模生成测试，以揭示有状态 DL 系统的缺陷。我们在最先进的语音转文本 DL 系统上的深入评估证明了我们的技术在提升有状态 DL 系统质量与可靠性方面的有效性。
引用
@article{arxiv.1812.05339,
title = {DeepCruiser: Automated Guided Testing for Stateful Deep Learning Systems},
author = {Xiaoning Du and Xiaofei Xie and Yi Li and Lei Ma and Jianjun Zhao and Yang Liu},
journal= {arXiv preprint arXiv:1812.05339},
year = {2018}
}