PETformer：基于占位符增强Transformer的长时序预测
机器学习
2023-10-10 v2
摘要
近来，Transformer在长时序预测（LTSF）任务中的优越性受到质疑，特别是近期工作表明简单模型可以胜过众多基于Transformer的方法。这表明在充分挖掘Transformer于LTSF任务中的潜力方面仍存在显著差距。为此，本研究探讨了将Transformer应用于LTSF时的关键问题，涵盖时间连续性、信息密度和多通道关系等方面。我们提出占位符增强技术（PET）以提升Transformer在LTSF任务中的计算效率与预测精度。此外，我们深入探究了更大分块策略与通道交互策略对Transformer性能的影响，具体为长子序列划分（LSD）与多通道分离与交互（MSI）。这些策略共同构成了一个称为PETformer的新模型。大量实验表明，PETformer在八个常用的LTSF公开数据集上取得了最先进的性能，超越了所有现有模型。本文提出的见解与增强方法可为未来研究提供有价值的参考与启发。
引用
@article{arxiv.2308.04791,
title = {PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer},
author = {Shengsheng Lin and Weiwei Lin and Wentai Wu and Songbo Wang and Yongxiang Wang},
journal= {arXiv preprint arXiv:2308.04791},
year = {2023}
}