保范正交排列线性单元激活函数 (OPLU)
神经与进化计算
2017-02-02 v5
摘要
我们提出一种新颖的激活函数，其实现基于排列的分段正交非线性映射。它易于实现，计算高效，且内存需求小。我们在前馈和循环网络的两个玩具问题上测试了它，其表现出与 tanh 和 ReLU 相似的性能。OPLU 激活函数确保反向传播梯度的范数保持，因此对于深度、极深度和循环神经网络的训练具有潜在优势。
引用
@article{arxiv.1604.02313,
title = {Norm-preserving Orthogonal Permutation Linear Unit Activation Functions (OPLU)},
author = {Artem Chernodub and Dimitri Nowicki},
journal= {arXiv preprint arXiv:1604.02313},
year = {2017}
}
备注
Submitted to conference ICANN'2016