RWKV-TS：超越传统循环神经网络的时间序列任务模型

传统的循环神经网络（RNN）架构，如 LSTM 和 GRU，历史上在时间序列任务中占据主导地位。然而，近年来它们在各种时间序列任务中的主导地位有所下降。因此，最近的时间序列预测进展显示出从 RNN 向 Transformer、MLP 和 CNN 等替代架构的显著转变。为了超越传统 RNN 的局限性，我们设计了一种用于时间序列任务的高效基于 RNN 的模型，名为 RWKV-TS，具有三个显著特征：(i) 一种新颖的 RNN 架构，具有 $O(L)$ 的时间复杂度和内存使用量。(ii) 与传统 RNN 相比，具有更强的长序列信息捕捉能力。(iii) 高计算效率 coupled with 有效扩展的能力。通过广泛的实验，我们提出的 RWKV-TS 模型表现出与最先进的基于 Transformer 或基于 CNN 的模型相当的竞争力。值得注意的是，RWKV-TS 不仅表现出相当的性能，还展示了更低的延迟和内存占用。RWKV-TS 的成功鼓励了在时间序列领域进一步探索和创新基于 RNN 的方法。竞争性性能、低延迟和高效内存使用的结合，使 RWKV-TS 成为未来时间序列任务研究的有前景的方向。代码地址：\href{https://github.com/howard-hou/RWKV-TS}{ https://github.com/howard-hou/RWKV-TS}