上下文循环神经网络
机器学习
2019-02-12 v1 计算与语言
摘要
存在一个隐含假设，即在有限时间内展开循环神经网络（RNN）时，将初始隐藏状态选择为零值所带来的错误设定会被后续时间步所缓解。这一假设已被证明在实践中有效，可能会建议替代的初始化方法，但往往被忽视。在本文中，我们提出了一种参数化 RNN 初始隐藏状态的方法。由此产生的架构被称为 Contextual RNN，可以进行端到端训练。通过将 RNN 初始隐藏状态以输入序列的上下文信息为条件，发现其在关联检索任务上的性能得到了提升。此外，我们提出了一种利用 Contextual RNN 的隐藏状态参数化来条件生成序列的新方法。
引用
@article{arxiv.1902.03455,
title = {Contextual Recurrent Neural Networks},
author = {Sam Wenke and Jim Fleming},
journal= {arXiv preprint arXiv:1902.03455},
year = {2019}
}
备注
7 pages