基于高阶张量循环神经网络的长程预测
机器学习
2019-08-27 v3
摘要
我们提出高阶张量循环神经网络（HOT-RNN），一类用于具有非线性动力学环境中多变量预测的新型神经序列架构。此类系统中的长程预测极具挑战性，因为存在长程时间依赖、高阶相关性以及对误差传播的敏感性。我们提出的循环架构通过使用高阶矩与高阶状态转移函数直接学习非线性动力学来解决这些问题。此外，我们利用张量列分解对高阶结构进行分解，以在保持模型性能的同时减少参数量。我们从理论上建立了 HOT-RNN 对一般序列输入的逼近保证与方差界。我们还在一系列具有非线性动力学的仿真环境以及真实世界时间序列数据上，展示了相较通用 RNN 与 LSTM 架构长程预测 5% ~ 12% 的提升。
引用
@article{arxiv.1711.00073,
title = {Long-term Forecasting using Higher Order Tensor RNNs},
author = {Rose Yu and Stephan Zheng and Anima Anandkumar and Yisong Yue},
journal= {arXiv preprint arXiv:1711.00073},
year = {2019}
}
备注
24 pages including appendix, updated JMLR version