面向循环神经网络的覆盖引导测试
机器学习
2021-05-14 v3 神经与进化计算
摘要
循环神经网络(RNNs)已广泛应用于自然语言处理、药物发现和视频识别等众多领域。其易受输入扰动影响的脆弱性亦为人所知。基于软件缺陷检测的观点，本文旨在开发一种覆盖引导测试方法，以系统性地利用 RNN 的内部行为，期望此类测试能高概率地检测缺陷。技术上，我们深入研究了 RNN 的主要类别之一——长短期记忆网络(LSTM)。设计了一组三个测试度量，不仅量化 LSTM 处理输入时显现的数值，还量化其时序关系（包括逐步和定长两种）。采用遗传算法高效生成测试用例。将这些测试度量与测试用例生成算法实现为工具 TestRNN，并在一组 LSTM 基准上评估。实验证实，得益于其处理更精细时序语义并考虑输入扰动的自然性，TestRNN 优于前沿工具 DeepStellar 和基于攻击的缺陷检测方法。此外，TestRNN 能收集并展示有意义的信息供用户理解测试结果，这是迈向可解释神经网络测试的重要一步。
引用
@article{arxiv.1911.01952,
title = {Coverage Guided Testing for Recurrent Neural Networks},
author = {Wei Huang and Youcheng Sun and Xingyu Zhao and James Sharp and Wenjie Ruan and Jie Meng and Xiaowei Huang},
journal= {arXiv preprint arXiv:1911.01952},
year = {2021}
}
备注
Accepted by IEEE Transactions on Reliability