深度神经网络扰动敏感性的估计器
机器学习
2023-07-25 v1 数值分析
数值分析
摘要
要使深度神经网络（DNNs）在安全关键应用中（如自动驾驶汽车和疾病诊断）发挥作用，它们必须对输入和模型参数的扰动保持稳定。刻画 DNN 对扰动的敏感性，对于确定可安全表示网络的最小位宽精度是必要的。然而，目前尚无能够预测给定 DNN 对舍入误差、噪声或其他输入扰动的敏感性的通用结果。本文推导了一个可预测此类量的估计器。该估计器通过不等式和矩阵范数推导得出，所得量大致类似于整个神经网络的条件数。该估计器的一种近似在 AlexNet 和 VGG-19 两个卷积神经网络上使用 ImageNet 数据集进行了测试。对于这些网络中的每一个，通过随机扰动和对抗攻击探讨了估计器的紧性。
引用
@article{arxiv.2307.12679,
title = {An Estimator for the Sensitivity to Perturbations of Deep Neural Networks},
author = {Naman Maheshwari and Nicholas Malaya and Scott Moe and Jaydeep P. Kulkarni and Sudhanva Gurumurthi},
journal= {arXiv preprint arXiv:2307.12679},
year = {2023}
}
备注
Actual work and paper concluded in January 2019