基于共域覆盖率的深度神经网络鲁棒黑盒测试

对机器学习模型进行严格测试对于可信赖的部署至关重要。我们提出了一种新颖的黑盒方法，用于生成测试套件，以对深度神经网络（DNN）进行鲁棒性测试。现有的大多数方法通过最大化某种“覆盖率”标准/指标（例如测试输入激活的神经元比例）来生成测试输入。然而，此类方法通常只能孤立地分析每个神经元的行为或每层的输出，无法捕捉它们对DNN输出的整体影响，导致生成的测试套件往往无法覆盖DNN的各种失效模式。这些方法还需要白盒访问权限，即访问DNN的内部结构（如节点激活）。我们提出了一种新颖的黑盒覆盖率标准，称为共域覆盖率（CDC），它被定义为模型输出的函数，因此考虑了模型的端到端行为。随后，我们开发了一种新的模糊测试方法CoDoFuzz，它使用CDC来指导模糊测试过程，为DNN生成测试套件。我们将CoDoFuzz生成的测试套件与几种最先进的基于覆盖率的模糊测试方法在六个公开数据集上训练的DNN上生成的测试套件进行了广泛比较。实验结果证明了CoDoFuzz在生成最多数量的错误分类输入以及模型对其决策缺乏信心的输入方面的效率和有效性。