Attention Mamba：基于自适应池化加速与感受野增强的时间序列建模
机器学习
2025-04-04 v1
摘要
“本工作已提交至 IEEE 考虑发表。版权可能发生转移，恕不另行通知，此后此版本可能不再可访问。”时间序列建模是天气预报和交通管理等现实世界应用的基石。最近，Mamba 成为时间序列建模中一个极具前景的模型，它将近线性的计算复杂度与高预测精度结合在一起，但也面临着诸如注意力机制对非线性依赖建模不足以及卷积导致感受野受限等挑战。为了克服这些局限性，本文引入了一个创新框架 Attention Mamba，其特点是包含一个新颖的自适应池化块，该块可加速注意力计算并引入全局信息，有效克服了感受野受限的约束。此外，Attention Mamba 集成了一个双向 Mamba 块，能高效捕获长短特征并将输入转换为注意力机制的 Value 表示。在多样化数据集上进行的大量实验突显了 Attention Mamba 在提取非线性依赖和增强感受野方面的有效性，确立了其优于领先同类模型的性能。我们的代码将在 GitHub 上提供。
引用
@article{arxiv.2504.02013,
title = {Attention Mamba: Time Series Modeling with Adaptive Pooling Acceleration and Receptive Field Enhancements},
author = {Sijie Xiong and Shuqing Liu and Cheng Tang and Fumiya Okubo and Haoling Xiong and Atsushi Shimada},
journal= {arXiv preprint arXiv:2504.02013},
year = {2025}
}