稀疏神经网络的鲁棒性与异常检测
机器学习
2022-07-12 v1
摘要
神经网络的鲁棒性与异常检测能力是其在现实世界中安全采用的关键课题。此外，近期网络的过参数化带来了高昂的计算成本，并引发关于其对鲁棒性与异常检测影响的问题。在本工作中，我们表明稀疏性可使网络更鲁棒且成为更好的异常检测器。为进一步说明，我们展示预训练神经网络在其参数空间中包含无需任何进一步训练即在上述任务上表现更优的稀疏子网络。我们还展示结构化稀疏性极大有助于降低昂贵的鲁棒性与检测方法的计算复杂度，同时保持甚至改善其在这些任务上的结果。最后，我们引入一种新方法 SensNorm，它利用由适当剪枝方法导出的权重敏感性来检测输入中的异常样本。
引用
@article{arxiv.2207.04227,
title = {On the Robustness and Anomaly Detection of Sparse Neural Networks},
author = {Morgane Ayle and Bertrand Charpentier and John Rachwan and Daniel Zügner and Simon Geisler and Stephan Günnemann},
journal= {arXiv preprint arXiv:2207.04227},
year = {2022}
}