利用双极激活函数将平均激活移向零
机器学习
2018-03-16 v3 机器学习
神经与进化计算
摘要
我们提出对ReLU族激活函数的一个简单扩展，使其能够将一层内的平均激活移向零。结合适当的权重初始化，这缓解了对于归一化层的需求。我们探索了深度普通循环神经网络（RNNs）的训练，层数多达144层，并表明双极激活函数有助于此设定下的学习。在Penn Treebank和Text8语言建模任务上，我们取得了具有竞争力的结果，改进了已报道的非门控网络的最佳结果。在不使用批量归一化的卷积神经网络实验中，我们发现双极激活使训练误差下降更快，并在CIFAR-10分类任务上导致更低的测试误差。
引用
@article{arxiv.1709.04054,
title = {Shifting Mean Activation Towards Zero with Bipolar Activation Functions},
author = {Lars Eidnes and Arild Nøkland},
journal= {arXiv preprint arXiv:1709.04054},
year = {2018}
}