DeepCover: 利用状态机提取推进 RNN 测试覆盖率与在线错误预测
机器学习
2024-02-13 v1
摘要
循环神经网络(RNN)已成为处理自然语言处理和语音识别等各个领域序列数据的强大工具。然而，RNN模型缺乏可解释性限制了其可解释性，给理解其内部工作机制带来了挑战。为了解决这一问题，本文提出了一种从基于RNN的模型中提取状态机(SM)的方法，以洞察其内部功能。所提出的SM提取算法使用四个新提出的指标进行评估：Purity、Richness、Goodness和Scale。所提出的方法及其评估指标通过提取的SM清晰地表示RNN模型的内部决策过程，从而有助于提高RNN模型的可解释性。除了提高RNN的可解释性外，提取的SM还可用于推进主要基于RNN的模型的测试和监控。为了增强RNN测试，我们基于提取的SM引入了六个模型覆盖率准则，作为评估旨在分析主模型的测试套件有效性的指标。我们还提出了一种基于树的模型，基于提取的SM预测主模型对每个输入的错误概率。我们使用MNIST数据集和Mini Speech Commands数据集评估了所提出的在线错误预测方法，在接收者操作特征(ROC)曲线图上实现了超过80%的曲线下面积(AUC)。
引用
@article{arxiv.2402.06966,
title = {DeepCover: Advancing RNN Test Coverage and Online Error Prediction using State Machine Extraction},
author = {Pouria Golshanrad and Fathiyeh Faghih},
journal= {arXiv preprint arXiv:2402.06966},
year = {2024}
}