快慢循环神经网络
神经与进化计算
2017-06-13 v2
摘要
处理可变长度的序列数据是诸多应用中的一大挑战，例如语音识别、语言建模、生成式图像建模和机器翻译。在此，我们通过提出一种新颖的循环神经网络 (RNN) 架构——快慢 RNN (FS-RNN)，来解决这一挑战。FS-RNN 结合了多尺度 RNN 和深度过渡 RNN 的优势，因为它在不同时间尺度上处理序列数据，并学习从一个时间步到下一个时间步的复杂过渡函数。我们在两个字符级语言建模数据集 Penn Treebank 和 Hutter Prize Wikipedia 上评估了 FS-RNN，将最先进的结果分别提升至 和 bits-per-character (BPC)。此外，由两个 FS-RNN 组成的集成在 Hutter Prize Wikipedia 上达到了 BPC，在 BPC 指标上优于已知最佳压缩算法。我们还对 FS-RNN 的学习和网络动力学进行了实证研究，解释了其相较于其他 RNN 架构性能提升的原因。我们的方法具有通用性，因为任何类型的 RNN 单元都可以作为 FS-RNN 架构的构建模块，从而可灵活应用于不同任务。
引用
@article{arxiv.1705.08639,
title = {Fast-Slow Recurrent Neural Networks},
author = {Asier Mujika and Florian Meier and Angelika Steger},
journal= {arXiv preprint arXiv:1705.08639},
year = {2017}
}
备注
Corrected minor typos in Figure 1 and Zoneout citation