先去趋势再注意力：重新审视时间序列预测的注意力机制

近年来，基于Transformer的模型广受欢迎，并在长期时间序列预测中展现出有前景的结果。除在时间域学习注意力外，近期工作也探索在频域（如傅里叶域、小波域）学习注意力，鉴于季节模式可在这些域中更好捕获。本工作中，我们试图理解不同时间与频域注意力模型间的关系。理论上，我们证明不同域的注意力模型在线性条件下（即注意力得分的线性核）等价。经验上，我们通过含季节性、趋势与噪声的多种合成实验，分析不同域注意力模型表现出的不同行为，并着重其中softmax操作的作用。这些理论与经验分析促使我们提出新方法：TDformer（趋势分解Transformer），其先应用季节-趋势分解，再将预测趋势分量的MLP与预测季节分量的傅里叶注意力加性组合，以获得最终预测。在基准时间序列预测数据集上的大量实验表明，TDformer相较现有基于注意力的模型取得了最先进性能。