复演化循环神经网络（ceRNNs）
机器学习
2019-06-07 v1 计算与语言
声音
音频与语音处理
信号处理
摘要
酉演化循环神经网络（uRNNs）具有三个吸引人的性质：(a) 酉性质，(b) 复值特性，以及 (c) 其高效的线性算子。现有文献尚未解决——模型的酉性质究竟有多关键？此外，uRNNs 尚未在大型任务上得到评估。为研究这些不足，我们提出复演化循环神经网络（ceRNNs），其与 uRNNs 类似但选择性地舍弃了酉性质。在一个简单的多元线性回归任务上，我们说明舍弃约束可改善学习轨迹。在复制记忆任务中，ceRNNs 与 uRNNs 表现相同，表明它们相对 LSTM 的优越性能源于复值特性及其线性算子。在大规模真实语音识别中，我们发现前置一个 uRNN 会降低我们基线 LSTM 声学模型的性能，而前置一个 ceRNN 则将性能相对基线绝对提升了 0.8% 的 WER（词错误率）。
引用
@article{arxiv.1906.02246,
title = {Complex Evolution Recurrent Neural Networks (ceRNNs)},
author = {Izhak Shafran and Tom Bagby and R. J. Skerry-Ryan},
journal= {arXiv preprint arXiv:1906.02246},
year = {2019}
}