重新审视多变量时间序列预测中的注意力机制

当前基于常规注意力机制的Transformer方法用于多变量时间序列预测（MTSF），都是通过序列嵌入并对Q、K、V进行线性投影，然后在此潜在空间内计算注意力。我们迄今为止没有深入探讨注意力机制，是否在MTSF中采用这种映射空间是否最优。为此，本研究首先提出了基于频谱域空间的注意力机制——频谱注意力（FSatten）。它采用傅里叶变换进行嵌入，并引入多频谱比例缩放（MSS）来取代对Q和K的常规线性映射。FSatten能够准确捕获序列之间的周期性依赖关系，且在不改变主流架构的前提下超越常规注意力。我们进一步设计了一种更为通用的方法，称为缩放正交注意力（SOatten）。我们提出了正交嵌入和基于邻近相似性偏置的头耦合卷积（HCC），以引导模型学习全面且多样的依赖模式。实验表明，FSatten和SOatten均超越了使用常规注意力的SOTA方法，因而可作为MTSF的基础注意力机制提供良好的替代方案。相关代码和日志文件将发布于：https://github.com/Joeland4/FSatten-SOatten。