Mamba 与 Transformer 的集成——MAT：用于长短期时间序列预测及其在天气动力学中的应用

长短期时间序列预测对于预测较长时期内的未来趋势和模式至关重要。虽然诸如 Transformer 之类的深度学习模型在推进时间序列预测方面取得了显著进展，但它们在捕捉长期依赖关系和有效处理稀疏语义特征方面经常遇到困难。状态空间模型 Mamba 通过其对选择性输入和并行计算的熟练处理解决了这些问题，在计算效率和预测精度之间取得了平衡。本文研究了 Mamba 和 Transformer 模型各自的优缺点，并引入了一种组合方法 MAT，该方法利用每个模型的优势来捕捉多元时间序列中独特的长短期依赖关系和固有的演化模式。具体而言，MAT 利用了 Mamba 的长程依赖能力和 Transformer 的短程特性。在基准天气数据集上的实验结果表明，MAT 在预测精度、可扩展性和内存效率方面均优于现有的可比方法。