用于建模物理系统的 Transformer

Transformer 因其能够建模文本中的长期依赖关系而被广泛应用于自然语言处理。尽管这些模型在许多与语言相关的任务中取得了最先进的性能，但它们在自然语言处理领域之外的适用性却非常有限。在这项工作中，我们提出使用 Transformer 模型来预测代表物理现象的动力学系统。使用基于 Koopman 的嵌入提供了一种独特而强大的方法，可将任何动力学系统投影为向量表示，随后可由 Transformer 进行预测。所提出的模型能够准确预测各种动力学系统，并优于科学机器学习文献中常用的经典方法。