重访模糊神经网络：用广义汉明网络揭开批归一化与ReLU的神秘面纱
机器学习
2017-10-31 v1 机器学习
摘要
我们以广义汉明距离这一基石性概念重访模糊神经网络，其提供了一个新颖且理论上有依据的框架，从模糊逻辑的角度重新解释许多有用的神经网络技术。特别地，我们猜想并通过实验说明，著名的批归一化（BN）技术实际上调整了归一化偏置，使其逼近由广义汉明距离所引发的正当偏置。一旦解析地强制施加该应有偏置，既不需要优化偏置项，也不需要复杂的批归一化。同样在广义汉明距离的视角下，流行的修正线性单元（ReLU）可被视为在网络输入与权重之间设定最小汉明距离阈值。这一阈值化方案一方面可通过在神经元输出的两端引入双阈值化来改进；另一方面，ReLU被证明并非必要，可从训练用于MNIST分类等简单任务的网络中移除。所提出的广义汉明网络（GHN）由此不仅可在模糊逻辑理论内作严格分析与解释，而且在多种学习任务上展现出快速的学习速度、良好受控的行为以及最先进的性能。
引用
@article{arxiv.1710.10328,
title = {Revisit Fuzzy Neural Network: Demystifying Batch Normalization and ReLU with Generalized Hamming Network},
author = {Lixin Fan},
journal= {arXiv preprint arXiv:1710.10328},
year = {2017}
}
备注
10 pages, 5 figures, NIPS 2017