Client：面向多元长期时间序列预测的交叉变量线性集成增强 Transformer
机器学习
2023-05-31 v1
摘要
长期时间序列预测（LTSF）是现代社会的一个关键方面，在促进长期规划和开发预警系统中发挥着关键作用。尽管近来许多基于 Transformer 的模型被引入用于 LTSF，但关于注意力模块在捕捉跨时间依赖关系方面有效性的质疑已被提出。在本研究中，我们设计了一个掩码序列实验来验证这一假设，随后提出了“面向多元长期时间序列预测的交叉变量线性集成增强 Transformer”（Client），这是一个优于传统基于 Transformer 的模型和线性模型的先进模型。Client 采用线性模块学习趋势信息，并利用注意力模块捕捉交叉变量依赖关系。同时，它简化了嵌入和位置编码层，并用投影层替换了解码器模块。本质上，Client 引入了非线性和交叉变量依赖关系，这使其有别于传统的线性模型和基于 Transformer 的模型。在九个真实世界数据集上的大量实验已证实，与先前基于 Transformer 的模型相比，Client 以最少的计算时间和内存消耗实现了 SOTA 性能。我们的代码可在 https://github.com/daxin007/Client 获取。
引用
@article{arxiv.2305.18838,
title = {Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting},
author = {Jiaxin Gao and Wenbo Hu and Yuntian Chen},
journal= {arXiv preprint arXiv:2305.18838},
year = {2023}
}