XCTFormer：利用跨通道与跨时间依赖性增强时间序列分析

多变量时间序列分析涉及从多个相互依赖变量的序列中提取信息丰富的表示，以支持预测、插补和异常检测等任务。在现实场景中，这些变量通常是从共享的上下文或潜在现象中收集的，这表明在时间和通道之间存在可被利用以提升性能的潜在依赖关系。然而，最近的发现表明，假设不存在变量间依赖关系的通道独立（CI）模型，通常优于显式建模此类关系的通道依赖（CD）模型。这一令人惊讶的结果表明，当前的 CD 模型可能由于依赖关系捕获方式的局限性而未能充分发挥其潜力。最近的研究通过各种方法重新审视了通道依赖建模；然而，这些方法通常采用间接建模策略，这可能导致有意义的依赖关系被忽略。为了解决这个问题，我们引入了 XCTFormer，这是一个基于 Transformer 的通道依赖（CD）模型，通过增强的注意力机制显式捕获跨时间和跨通道依赖关系。该模型以 token 到 token 的方式运行，对跨时间和通道的每对 token 之间的成对依赖关系进行建模。该架构包括： 数据处理模块， 新颖的跨关系注意力块（CRAB），用于增加容量和表达能力，以及 可选的依赖压缩插件，用于提高可扩展性。通过在三个时间序列基准上的广泛实验，我们表明与广泛认可的基线相比，XCTFormer 取得了强劲的结果；特别是在插补任务上达到了最先进的性能，在 MSE 上平均超过次优方法 20.8%，在 MAE 上平均超过 15.3%。