Sensorformer：结合跨 Patch 注意力与全局 Patch 压缩的高维多元时间序列预测

在现有的基于 Transformer 的多元时间序列预测方法中，iTransformer 将每个变量序列视为一个 token，仅显式提取跨变量依赖关系；而 PatchTST 采用通道独立策略，仅显式提取跨时间依赖关系。两者均显著优于大多数同时提取跨时间和跨变量依赖的通道依赖型 Transformer。这表明现有的基于 Transformer 的多元时间序列预测方法仍难以有效融合这两类信息。我们将此问题归因于不同变量间因果关系中的动态时间滞后。因此，我们提出了一种新的多元时间序列预测 Transformer 模型 Sensorformer，它首先压缩全局 Patch 信息，然后从压缩表示中同时提取跨变量和跨时间依赖关系。即使变量间存在动态因果滞后，Sensorformer 也能有效捕获正确的变量间相关性和因果关系，同时将纯跨 Patch 自注意力的计算复杂度从 $O(D^2 \cdot Patch\_num^2 \cdot d\_model)$ 降低至 $O(D^2 \cdot Patch\_num \cdot d\_model)$。在 9 个主流的真实多元时间序列预测数据集上进行的广泛对比和消融实验证明了 Sensorformer 的优越性。Sensorformer 的实现遵循 Time-series-library 的风格，并附有用于复现主要结果的脚本，已在 https://github.com/BigYellowTiger/Sensorformer 公开。