用于多变量长序列时间序列预测的知识增强 Transformer

多变量长序列时间序列预测（LSTF）一直是各种现实世界应用中的一项关键任务。近期的进展主要集中于 Transformer 架构的应用，这归功于其能够在较长时期内有效捕捉时间模式。然而，这些方法往往忽略了可以从输入变量的特征属性中得出的固有关系与相互作用。在本文中，我们旨在通过将信息丰富的知识图谱嵌入（KGE）与 SOTA 的基于 Transformer 的架构相结合来弥补这一空白。我们引入了一种新方法，将变量之间的概念关系封装在一个明确定义的知识图谱中，形成动态且可学习的 KGE，以无缝集成到 Transformer 架构中。我们研究了这种集成对 PatchTST、Autoformer、Informer 和 Vanilla Transformer 等开创性架构的影响。此外，我们全面研究了这些知识增强架构及其原始实现在长预测视野下的性能，并证明了基准结果的显著改善。这种增强使得基于 Transformer 的架构能够处理变量之间固有的结构关系。我们的知识增强方法通过捕捉跨多个领域的复杂时间与关系动态，提高了多变量 LSTF 的准确性。为了验证我们模型的有效性，我们使用 Weather 和 Electric Transformer Temperature（ETT）数据集进行了全面实验。