神经网络的白噪声分析
计算机视觉与模式识别
2019-12-30 v1
摘要
本文提出对现代深度神经网络的白噪声分析，以揭示其在整个网络层面或单个神经元层面的偏差。我们的分析基于心理物理学与神经生理学中的两种流行且相关的方法，即分类图像与触发平均分析。这些方法已被广泛用于理解人类与猴子感觉系统的潜在机制。我们利用它们来研究深度神经网络的固有偏差，并获得其功能的一阶近似。我们重点关注 CNN，因为它们目前是计算机视觉中的最优方法，并且是人类视觉处理的合理模型。此外，我们研究了多层感知机、逻辑回归和循环神经网络。在 MNIST、Fashion-MNIST、CIFAR-10 和 ImageNet 四个经典数据集上的实验表明，计算得到的偏差图类似于目标类别，当其用于分类时，性能超过随机水平两倍以上。进一步，我们展示了分类图像可用于攻击黑盒分类器并检测对抗补丁攻击。最后，我们利用触发平均来推导 CNN 的滤波器，并探索当不同层中的神经元被调制时网络行为如何变化。我们的工作展示了一个从神经科学借鉴以研究人工神经网络的成功范例，并凸显了机器学习、深度学习与计算神经科学之间交叉融合与协同的重要性。
引用
@article{arxiv.1912.12106,
title = {White Noise Analysis of Neural Networks},
author = {Ali Borji and Sikun Lin},
journal= {arXiv preprint arXiv:1912.12106},
year = {2019}
}