Delayformer: 用于预测高维动力学的时空变换

在各种科学和工程领域，预测时间序列具有重要意义。然而，在数据有限且含噪的情况下，准确预测高维系统中所有变量的动力学是一项具有挑战性的任务，原因在于其非线性和复杂的相互作用。包括深度学习方法在内的当前方法在此类情况下对真实世界系统的表现往往不佳。本研究提出了Delayformer框架，通过开发一种新颖的多变量时空信息（mvSTI）变换，同时预测所有变量的动力学，该变换将每个观测变量转化为延迟嵌入状态（向量），并进一步跨变量交叉学习这些状态。从动力学系统视角来看，Delayformer预测的是系统状态而非单个变量，因此从理论和计算上克服了非线性和交叉交互问题。具体而言，它首先利用单个共享的视觉Transformer（ViT）编码器对延迟嵌入形式中观测变量的动力学状态进行交叉表示，然后采用不同的线性解码器来预测下一状态，即等价地并行预测所有原始变量。通过利用延迟嵌入理论的理论基础和Transformer的表示能力，Delayformer在合成和真实世界数据集上的预测任务中超越了当前最先进的方法。此外，通过跨领域预测任务展示了Delayformer作为基础时间序列模型的潜力，突出了其在各种场景中的广泛适用性。