通过基于热图的无监督学习支持DNN安全分析与再训练
软件工程
2022-10-14 v4 机器学习
摘要
深度神经网络(DNNs)在安全关键系统中日益重要,例如在感知层用于分析图像。遗憾的是,缺乏确保基于DNN的组件功能安全的方法。我们观察到安全关键系统中DNN现有实践面临三大挑战:(1)测试集中代表性不足的场景可能导致严重的安全违规风险,但却可能未被察觉;(2)刻画此类高风险场景对安全分析至关重要;(3)当违规原因难以确定时,针对这些风险再训练DNN的支持十分薄弱。为在DNN分析图像的背景下解决这些问题,我们提出HUDD,一种自动支持识别DNN错误根本原因的方法。HUDD通过对热图应用聚类算法来识别根本原因,热图捕获了每个DNN神经元对DNN输出的相关性。此外,HUDD利用基于其与所识别图像簇的相关性自动筛选的图像来再训练DNN。我们在来自汽车领域的DNN上评估了HUDD。HUDD能够识别DNN错误的所有不同根本原因,从而支持安全分析。同时,我们的再训练方法在提升DNN精度方面比现有方法更为有效。
引用
@article{arxiv.2002.00863,
title = {Supporting DNN Safety Analysis and Retraining through Heatmap-based Unsupervised Learning},
author = {Hazem Fahmy and Fabrizio Pastore and Mojtaba Bagherzadeh and Lionel Briand},
journal= {arXiv preprint arXiv:2002.00863},
year = {2022}
}