融合循环神经网络
机器学习
2020-06-09 v1 机器学习
摘要
考虑到面向实际应用的深度序列学习，首先想到的可能是两种代表性 RNN——LSTM 和 GRU。然而，其他 RNN 是否就毫无机会？未来是否会出现更好的 RNN？在本工作中，我们提出一种新颖、简洁且有前景的 RNN——融合循环神经网络（Fusion RNN）。Fusion RNN 在每个时间步由融合模块与传输模块组成。融合模块实现输入与隐藏状态向量的多轮融合。主要借鉴简单循环网络的传输模块计算隐藏状态并准备将其传递至下一时间步。此外，为评估 Fusion RNN 的序列特征提取能力，我们选取序列数据的代表性数据挖掘任务——预计到达时间（ETA），并给出一种基于 Fusion RNN 的新模型。我们在来自滴滴出行的海量车辆出行数据下，将我们的方法与其他 RNN 变体就 ETA 进行对比。结果表明，在 ETA 上，Fusion RNN 可与比其更复杂的 SOTA LSTM 和 GRU 相媲美。
引用
@article{arxiv.2006.04069,
title = {Fusion Recurrent Neural Network},
author = {Yiwen Sun and Yulu Wang and Kun Fu and Zheng Wang and Changshui Zhang and Jieping Ye},
journal= {arXiv preprint arXiv:2006.04069},
year = {2020}
}