在深度网络中利用乘积作为激活函数
神经与进化计算
2018-10-22 v1
摘要
乘积单元神经网络（PUNNs）是具有强理论基础的强大表示模型，但已证明难以用基于梯度的优化器训练。我们提出加窗乘积单元神经网络（WPUNNs），一种在神经网络中利用乘积作为非线性的简单方法。对乘积加窗驯服了复杂的梯度曲面，使WPUNNs能有效学习，解决了PUNNs面临的问题。WPUNNs在传统求和层之间使用乘积层，捕获乘积单元的表示能力并将乘积本身作为非线性。我们发现该方法在MNIST数据集上与传统非线性（如ReLU）表现相当。我们证明WPUNNs也可推广循环神经网络中的门控单元，取得与LSTM网络可比的结果。
引用
@article{arxiv.1810.08578,
title = {Leveraging Product as an Activation Function in Deep Networks},
author = {Luke B. Godfrey and Michael S. Gashler},
journal= {arXiv preprint arXiv:1810.08578},
year = {2018}
}
备注
6 pages, 3 figures, IEEE SMC 2018