通过结构化矩阵增强用于长序列时间序列预测的Transformer模型
机器学习
2024-12-17 v4 人工智能
摘要
最近，用于长序列时间序列预测的基于Transformer的模型展现出了可喜的成果。作为这些基于Transformer的模型的核心组件，自注意力机制在捕捉数据点之间的各种依赖关系方面展现出巨大潜力。尽管取得了这些进展，如何提高自注意力机制的效率一直备受关注。遗憾的是，当前特定的优化方法在长序列时间序列预测模型的未来设计中面临着适用性和可扩展性方面的挑战。因此，在本文中，我们提出了一种新的架构框架，通过集成替代注意力块和替代前馈神经网络块来增强基于Transformer的模型。该框架通过用SAB和SFB替换自注意力层和前馈层，在保持其表达能力和架构优势的同时，降低了时间和空间复杂度。充分论证了这种替换的等价性。在五个不同的时间序列任务中对10个基于Transformer的模型进行的广泛实验表明，平均性能提升了12.4%，同时参数量减少了61.3%。
引用
@article{arxiv.2405.12462,
title = {Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix},
author = {Zhicheng Zhang and Yong Wang and Shaoqi Tan and Bowei Xia and Yujie Luo},
journal= {arXiv preprint arXiv:2405.12462},
year = {2024}
}