通过傅里叶循环单元学习长程依赖
机器学习
2018-03-20 v1 机器学习
摘要
训练循环神经网络以处理具有长程依赖的任务是一项已知的挑战。主要原因之一是梯度消失或爆炸问题，这阻止了梯度信息传播到早期层。在本文中，我们提出了一种简单的循环架构，即傅里叶循环单元（FRU），它能够稳定其训练中出现的梯度，同时赋予我们更强的表达能力。具体而言，FRU 使用傅里叶基函数沿时间维度对隐藏状态 进行汇总。由于 FRU 的残差学习结构和三角函数的全局支撑，这使得梯度能够轻松到达任意层。我们证明 FRU 具有独立于时间维度的梯度上下界。我们还展示了稀疏傅里叶基的强表达能力，FRU 由此获得了其强大的表达能力。我们的实验研究也表明，在参数更少的情况下，所提出的架构在许多任务上优于其他循环架构。
引用
@article{arxiv.1803.06585,
title = {Learning Long Term Dependencies via Fourier Recurrent Units},
author = {Jiong Zhang and Yibo Lin and Zhao Song and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:1803.06585},
year = {2018}
}