通过分层卷积学习动态相关性与缓解噪声以进行长期序列预测
机器学习
2023-12-29 v1
摘要
深度学习算法，特别是基于 Transformer 的模型，通过捕获长程依赖和历史信息取得了显著的性能。然而，卷积的能力尚未得到充分研究。此外，大多数现有工作忽略了变量之间的动态相互作用和序列中的演化噪声。针对这些问题，我们提出了一种分层记忆网络（Hierarchical Memorizing Network，HMNet）。具体而言，引入了分层卷积结构以从不同尺度的序列中提取信息。此外，我们提出了一个动态变量交互模块来学习变化的相关性，以及一个自适应去噪模块来搜索并利用相似模式以缓解噪声。这些模块可以从细粒度到粗粒度的视角与分层结构协同工作。在五个基准上的实验表明，HMNet 在 MSE 上显著优于最先进的模型 10.6%，在 MAE 上优于 5.7%。我们的代码发布在 https://github.com/yzhHoward/HMNet。
关键词
引用
@article{arxiv.2312.16790,
title = {Learning the Dynamic Correlations and Mitigating Noise by Hierarchical Convolution for Long-term Sequence Forecasting},
author = {Zhihao Yu and Liantao Ma and Yasha Wang and Junfeng Zhao},
journal= {arXiv preprint arXiv:2312.16790},
year = {2023}
}