OLinear：正交转换域上用于时间序列预测的线性模型

本文提出了 $\mathbf{OLinear}$，是一个基于 $\mathbf{linear}$ 的多变量时间序列预测模型， operates in an $\mathbf{o}$rthogonally transformed domain。最近的预测模型通常采用时间预测（TF）范式，直接对时间序列进行编码和解码。然而，series 数据中存在的交织的逐步依赖关系会阻碍 TF 的性能。为此，一些 forecasters 在使用固定、与数据集无关的基准（例如傅里叶变换中的正弦和余弦信号）进行转换后进行编码和解码。相比之下，我们利用 $\mathbf{OrthoTrans}$，一种基于正交矩阵对化解 series 时间皮尔逊相关矩阵的 data-adaptive transformation。这种方法能够更有效地对 decorrelated feature domain 进行编码和解码，可作为增强现有 forecasters 的 plug-in 模块。为了增强多变量时间序列的 representation learning，我们引入了自定义线性层 $\mathbf{NormLin}$，该层使用归一化权矩阵来捕获多变量依赖性。经验上，NormLin 模块在多头自注意力方面表现出惊人的性能优势，几乎只需一半的 FLOPs。24 个基准和 140 个预测任务的广泛实验表明，OLinear 在效率和准确性方面始终实现了最先进的性能。值得注意的是，作为 self-attention 的 plug-in 替代品，NormLin 模块始终能增强基于 Transformer 的 forecasters。代码和数据集可在 https://anonymous.4open.science/r/OLinear 获取。