PSformer：面向时序预测的带分段注意力的参数高效Transformer
机器学习
2025-02-12 v2 人工智能
摘要
时序预测仍然是各领域的关键挑战，常因高维数据和长期依赖而复杂化。本文提出了一种新颖的Transformer架构用于时序预测，包含两项关键创新：参数共享（PS）和时空分段注意力（SegAtt）。我们还将时间序列分段定义为不同变量中相同位置的序列片段的拼接。所提出的模型PSformer通过参数共享机制减少了训练参数数量，从而提升了模型效率和可扩展性。引入SegAtt可以通过在分段上计算注意力来增强捕捉局部时空依赖的能力，并通过跨分段整合信息来改善全局表示。参数共享与SegAtt的结合显著提升了预测性能。在基准数据集上的广泛实验表明，PSformer在准确性和可扩展性方面优于流行的基线和其他基于Transformer的方法，确立了其作为准确且可扩展的时序预测工具的地位。
引用
@article{arxiv.2411.01419,
title = {PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting},
author = {Yanlong Wang and Jian Xu and Fei Ma and Shao-Lun Huang and Danny Dongning Sun and Xiao-Ping Zhang},
journal= {arXiv preprint arXiv:2411.01419},
year = {2025}
}
备注
30 pages