神经网络应足够宽以学习不相连的决策区域
机器学习
2018-06-11 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
在近期的文献中，深度在深度学习中的重要作用已被强调。本文通过回答一个简单问题——即在何种条件下神经网络的决策区域是相连的——来论证前馈网络足够的宽度同等重要。结果表明，对于包含leaky ReLU在内的一类激活函数，具有金字塔结构（即没有任何层的隐藏单元数多于输入维度）的神经网络必然产生相连的决策区域。这意味着要保证网络能产生不相连的决策区域，一个足够宽的隐藏层是必要的。我们讨论了该结果对神经网络构建的启示，特别是其与分类器对抗性操纵问题的关系。
引用
@article{arxiv.1803.00094,
title = {Neural Networks Should Be Wide Enough to Learn Disconnected Decision Regions},
author = {Quynh Nguyen and Mahesh Chandra Mukkamala and Matthias Hein},
journal= {arXiv preprint arXiv:1803.00094},
year = {2018}
}
备注
Accepted at ICML 2018. Added discussion for non-pyramidal networks and ReLU activation function