采样如何影响随机神经网络的鲁棒性
机器学习
2023-03-07 v2
摘要
随机神经网络（SNNs）是随机函数，其预测通过对多次实现进行平均得到。因此，基于梯度的对抗样本是基于一组样本计算，而在另一组样本上进行分类。本文推导了此类随机预测对给定基于样本的攻击具有鲁棒性的充分条件。这使我们能够识别导致 SNN 鲁棒性增强的因素，并对以下现象给出理论解释：(i) 众所周知的观察，即增加用于估计对抗样本的采样数量会增强攻击强度，(ii) 为何在攻击中增加样本数无法完全消除随机性的影响，(iii) 为何推理时的样本量不影响鲁棒性，以及 (iv) 为何更高的梯度方差和更短的梯度期望值与更高的鲁棒性相关。我们的理论发现为先前提出的增强攻击强度或模型鲁棒性的方法背后的机制提供了统一视角，并通过广泛的实证分析进行了验证。
引用
@article{arxiv.2204.10839,
title = {How Sampling Impacts the Robustness of Stochastic Neural Networks},
author = {Sina Däubener and Asja Fischer},
journal= {arXiv preprint arXiv:2204.10839},
year = {2023}
}
备注
NeurIPS 2022