RAM：用 MLP 替代注意力机制以实现高效多元时间序列预测
机器学习
2025-05-13 v2
摘要
基于注意力的架构在时间序列预测任务中已无处不在，包括时空预测和长期时间序列预测。然而，我们对其有效性的原因理解仍然有限。在这项工作中，我们提出了一种新颖的剪枝策略，即用 MLP 替代注意力机制，该策略仅使用前馈层、残差连接和层归一化来近似注意力机制，用于多元时间序列预测中的时间和/或空间建模。具体而言，Q、K 和 V 投影、注意力分数计算、注意力分数与 V 的点积以及最终投影都可以从基于注意力的网络中移除，而不会显著降低性能，使得给定网络相较于其他 SOTA 方法仍保持顶级水平。RAM 使时空模型的 FLOPs 减少了 62.579%，性能下降不到 2.5%；使 LTSF 模型的 FLOPs 减少了 42.233%，性能下降不到 2%。
引用
@article{arxiv.2410.24023,
title = {RAM: Replace Attention with MLP for Efficient Multivariate Time Series Forecasting},
author = {Suhan Guo and Jiahong Deng and Yi Wei and Hui Dou and Furao Shen and Jian Zhao},
journal= {arXiv preprint arXiv:2410.24023},
year = {2025}
}