使用由 Kumaraswamy 单元建模的神经元束改进神经网络：初步研究
机器学习
2015-05-12 v1 神经与进化计算
摘要
深度神经网络最近在许多机器学习问题中取得了最先进的结果，例如语音识别或物体识别。迄今为止，关于修正线性单元(ReLU)的研究提供了相比于通常使用的 sigmoid 激活函数，神经网络性能提升的经验和理论证据。在本文中，我们研究了一种通过引入由广义 Kumaraswamy 分布建模的同一神经元的多个副本束来改进神经网络的新方式。因此，我们提出了一种称为 Kumaraswamy 单元的新型非线性激活函数，它与 ReLU 密切相关。在使用 MNIST 图像语料库的实验中，我们评估了应用于单层（浅层）神经网络的 Kumaraswamy 单元，并报告了与 sigmoid 单元、ReLU 和 Noisy ReLU 相比测试分类误差和测试交叉熵的显著下降。
引用
@article{arxiv.1505.02581,
title = {Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study},
author = {Jakub Mikolaj Tomczak},
journal= {arXiv preprint arXiv:1505.02581},
year = {2015}
}
备注
7 pages, 4 figures