双整流线性单元（DReLU）：准循环神经网络中Tanh激活函数的替代方案
计算与语言
2019-03-01 v2 机器学习
神经与进化计算
摘要
本文引入一种新型整流线性单元（ReLU），称为双整流线性单元（DReLU）。DReLU具有无界的正值和负值映射，可作为准循环神经网络（QRNN）（Bradbury等人，2017）循环步骤中tanh激活函数的直接替代。与ReLU类似，DReLU不易出现梯度消失问题，具有噪声鲁棒性，并能诱导稀疏激活。我们独立复现了Bradbury等人（2017）的QRNN实验，并在情感分类和词级语言建模任务上，将基于DReLU的QRNN与原始基于tanh的QRNN以及长短期记忆网络（LSTM）进行了比较。此外，我们在字符级语言建模上进行了评估，结果表明我们能够堆叠多达八层使用DReLU的QRNN，从而有可能在字符级语言建模中超越当前基于LSTM的浅层架构的最优水平。
引用
@article{arxiv.1707.08214,
title = {Dual Rectified Linear Units (DReLUs): A Replacement for Tanh Activation Functions in Quasi-Recurrent Neural Networks},
author = {Fréderic Godin and Jonas Degrave and Joni Dambre and Wesley De Neve},
journal= {arXiv preprint arXiv:1707.08214},
year = {2019}
}