Triformer：面向长序列多元时间序列预测的三角化变量专属注意力（完整版）
机器学习
2022-05-02 v1
摘要
众多现实应用依赖远期未来信息以做出决策，因而需要高效且准确的长序列多元时间序列预测。尽管近期基于注意力的预测模型在捕获长期依赖方面表现出很强的能力，它们仍受两个关键局限。首先，标准自注意力相对于输入时间序列长度具有二次复杂度，因而效率不足。其次，不同变量的时间序列常具有各异的时间动态，现有研究未能捕获这一点，因为它们对所有变量的时间序列使用相同的模型参数空间（如投影矩阵），因而准确性不足。为保障高效率与高准确性，我们提出 Triformer，一种三角化、变量专属的注意力。（i）线性复杂度：我们引入具有线性复杂度的新颖分块注意力。当堆叠多层分块注意力时，提出一种三角结构使层尺寸指数收缩，从而保持线性复杂度。（ii）变量专属参数：我们提出一种轻量方法，为不同变量的时间序列启用不同的模型参数集，以在不牺牲效率与内存占用的前提下提升准确性。来自多个领域四个数据集的强实证证据印证了我们的设计选择，并表明 Triformer 在准确性与效率上均优于最先进方法。本文为将发表于 IJCAI 2022 [Cirstea et al., 2022a] 的“Triformer：面向长序列多元时间序列预测的三角化变量专属注意力”的扩展版，包含了额外的实验结果。
引用
@article{arxiv.2204.13767,
title = {Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version},
author = {Razvan-Gabriel Cirstea and Chenjuan Guo and Bin Yang and Tung Kieu and Xuanyi Dong and Shirui Pan},
journal= {arXiv preprint arXiv:2204.13767},
year = {2022}
}