面向长期时间序列预测：特征、图样与分布
机器学习
2023-01-06 v1 人工智能
摘要
长期时间序列预测（LTTF）在诸多应用中已成为迫切需求，如风电供应规划。由于高计算量的自注意力机制，Transformer 模型已被采用以提供高预测能力。尽管可通过在逐点自注意力中引入稀疏性来降低 Transformer 在 LTTF 中的复杂度，但有限的信息利用阻碍了模型全面探索复杂依赖关系。为此，我们提出一种高效的基于 Transformer 的模型，称为 Conformer，其在 LTTF 上与现有方法的区别体现在三方面：（i）在滑动窗口注意力与平稳及瞬时循环网络（SIRN）基础上，提出一种兼具线性复杂度且不牺牲信息利用的编码器-解码器架构；（ii）设计由归一化流导出的模块，通过直接利用 SIRN 中的潜变量推断输出，进一步提升信息利用；（iii）显式建模时间序列数据中的序列间相关性与时间动态，以增益下游自注意力机制。在七个真实数据集上的大量实验表明，Conformer 在 LTTF 上优于最先进方法，并生成带不确定性量化的可靠预测结果。
引用
@article{arxiv.2301.02068,
title = {Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution},
author = {Yan Li and Xinjiang Lu and Haoyi Xiong and Jian Tang and Jiantao Su and Bo Jin and Dejing Dou},
journal= {arXiv preprint arXiv:2301.02068},
year = {2023}
}