PatchMixer:一种用于长期时间序列预测的块混合架构
机器学习
2024-10-15 v2
摘要
尽管Transformer近年来一直是时间序列预测任务的主导架构,一个根本挑战依然存在:Transformer中置换不变的自注意力机制导致时间信息丢失。为应对这些挑战,我们提出PatchMixer,一种新颖的基于CNN的模型。它引入置换变体的卷积结构以保留时间信息。不同于该领域常采用多尺度或众多分支的传统CNN,我们的方法仅依赖深度可分离卷积。这使我们能以单尺度架构提取局部特征与全局关联。此外,我们采用包含线性和非线性组件的双预测头,以更好地建模未来曲线趋势与细节。我们在七个时间序列预测基准上的实验结果表明,相较于最先进方法与性能最佳的CNN,PatchMixer分别取得3.9%和21.2%的相对提升,同时比最先进方法快2-3倍。
引用
@article{arxiv.2310.00655,
title = {PatchMixer: A Patch-Mixing Architecture for Long-Term Time Series Forecasting},
author = {Zeying Gong and Yujin Tang and Junwei Liang},
journal= {arXiv preprint arXiv:2310.00655},
year = {2024}
}
备注
Code is available at: https://github.com/Zeying-Gong/PatchMixer. This paper has been accepted to The Sixth DSO Workshop at IJCAI-24