FiLM：用于长期时间序列预测的频率改进 Legendre 记忆模型
机器学习
2022-09-19 v4 机器学习
摘要
近期研究表明，RNN 与 Transformer 等深度学习模型因有效利用历史信息，为时间序列长期预测带来了显著的性能提升。然而，我们发现如何在神经网络中保存历史信息同时避免对历史中噪声的过拟合方面仍有巨大改进空间。解决此问题可更好地发挥深度学习模型的能力。为此，我们设计了\textbf{频}率改进\textbf{L}egendre\textbf{记}忆模型，即 {\bf FiLM}：它应用 Legendre 多项式投影逼近历史信息，使用 Fourier 投影去除噪声，并添加低秩近似以加速计算。我们的实证研究表明，所提 FiLM 在多变量与单变量长期预测中分别将最先进模型的精度显著提升 (\textbf{20.3\%}, \textbf{22.6\%})。我们还证明本工作开发的表示模块可用作通用插件以提升其他深度学习模块的长期预测性能。代码见 https://github.com/tianzhou2011/FiLM/
引用
@article{arxiv.2205.08897,
title = {FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting},
author = {Tian Zhou and Ziqing Ma and Xue wang and Qingsong Wen and Liang Sun and Tao Yao and Wotao Yin and Rong Jin},
journal= {arXiv preprint arXiv:2205.08897},
year = {2022}
}
备注
Accepted by The Thirty-Sixth Annual Conference on Neural Information Processing Systems (NeurIPS 2022)