神经网络的有趣性质
计算机视觉与模式识别
2014-02-20 v4 机器学习
神经与进化计算
摘要
深度神经网络是高度表达性的模型，最近在语音和视觉识别任务上取得了最先进的性能。虽然其表达性是其成功的原因，但也导致它们学习到具有反直觉性质的不可解释解。在本文中，我们报告了其中两个性质。首先，我们发现根据各种单元分析方法，单个高层单元与高层单元的随机线性组合之间没有区别。这表明在神经网络的高层中，包含语义信息的是空间而非单个单元。其次，我们发现深度神经网络学习到的输入 - 输出映射在很大程度上是不连续的。我们可以通过施加某种难以察觉的扰动使网络对图像进行错误分类，该扰动是通过最大化网络的预测误差找到的。此外，这些扰动的具体性质并非学习的随机产物：相同的扰动可导致在不同数据集子集上训练的不同网络对同一输入产生错误分类。
引用
@article{arxiv.1312.6199,
title = {Intriguing properties of neural networks},
author = {Christian Szegedy and Wojciech Zaremba and Ilya Sutskever and Joan Bruna and Dumitru Erhan and Ian Goodfellow and Rob Fergus},
journal= {arXiv preprint arXiv:1312.6199},
year = {2014}
}