ParallelTime：动态加权平衡短期与长期时间依赖性
机器学习
2025-09-26 v2
摘要
现代多元时间序列预测主要依赖于两种架构：带注意力机制的 Transformer 和 Mamba。在自然语言处理中，一种已被采用的方法结合了用于捕获短期依赖的局部窗口注意力和用于捕获长期依赖的 Mamba，并通过对其输出取平均值来为两者分配相等的权重。我们发现，对于时间序列预测任务，为长期和短期依赖分配相等的权重并非最优。为缓解这一问题，我们提出了一种动态加权机制 ParallelTime Weighter，它基于输入和模型的知识，为每个 token 计算长期和短期依赖的相互依赖权重。此外，我们引入了 ParallelTime 架构，该架构集成了 ParallelTime Weighter 机制，以在各种基准测试中提供 SOTA 性能。我们的架构展示了鲁棒性，实现了更低的 FLOPs，需要更少的参数，能有效扩展到更长的预测范围，并显著优于现有方法。这些进展为并行 Attention-Mamba 在时间序列预测中的未来发展突显了一条充满前景的路径。实现代码可在 \href{https://github.com/itay1551/ParallelTime}{GitHub} 获取。
引用
@article{arxiv.2507.13998,
title = {ParallelTime: Dynamically Weighting the Balance of Short- and Long-Term Temporal Dependencies},
author = {Itay Katav and Aryeh Kontorovich},
journal= {arXiv preprint arXiv:2507.13998},
year = {2025}
}