自注意力机制在时间序列预测中是否有效？

时间序列预测是贯穿于多个领域且涉及多种情景的关键任务。虽然Transformer模型在预测领域取得了显著进展，但其有效性仍存争议。近期研究表明，更为简洁的线性模型可能超越复杂的基于Transformer的方法，凸显了更简练架构的潜力。本文转向关注Transformer整体架构的效果评估，具体聚焦于自注意力机制在时间序列预测中的有效性。为此，我们引入一种新型架构——Cross-Attention-only Time Series transformer (CATS)，其重新思考了传统Transformer框架，通过消除自注意力机制并采用交叉注意力机制。通过将未来预测时域相关参数设为查询，并采用增强的参数共享机制，我们的模型不仅提升了长期预测精度，还减少了参数数量和内存使用。广泛的实验表明，CATS在多种数据集上实现了优异性能，平均Squared误差最低，且使用参数更少。本文实现的模型已公开于：https://github.com/dongbeank/CATS。