Themis：一种具备强大故障检测能力的自动化深度学习系统测试工具

深度学习系统(DLS)已在自动驾驶等安全关键任务中广泛应用。然而，当将扰动输入喂入DLS进行推理时，DLS常会产生错误输出(即故障)。DLS测试技术(如DeepXplore)通过生成扰动输入来检测此类故障，以探索导致故障的数据流。由于DLS通常拥有不可数许多数据流，现有技术需要开发人员手动指定DLS神经元一组激活值，以探索导致故障的数据流。不幸的是，近期研究表明，这种手动工作量单调且只能检测极小比例的故障诱导数据流。本文提出了Themis，首个实现自动化且具备强大故障检测能力的DLS测试系统，通过以高概率确保对故障诱导数据流的全覆盖实现了强大的故障检测能力。Themis采用新的工作流程，自动且系统性地揭示内部神经元输出在输入轻微扰动下会发生显著变化的数据流，因为这些数据流可能是故障诱导型的。我们在十个不同的DLS上评估了Themis，结果表明，Themis检测到的故障数量平均比四个著名DLS测试技术高出3.78倍。通过重新训练所有评估的DLS，Themis还将这些DLS的准确率平均提高了14.7倍于所有基线方法。