用于时间序列预测的测试时学习
机器学习
2024-12-03 v3 人工智能
摘要
随着多头注意力等 token 预测机制的引入，时间序列预测取得了显著进展。然而，这些方法通常难以达到与语言建模相同的性能，这主要归因于二次计算成本以及在时间序列数据中捕获长程依赖的复杂性。状态空间模型 (SSMs)，如 Mamba，通过提供具有线性 RNN 的高效解决方案，能够以更大的上下文窗口对长序列进行建模，在应对这些挑战方面展现出了潜力。然而，在准确性和可扩展性方面仍有改进空间。我们提出在并行架构中使用测试时训练 (TTT) 模块，以增强长期时间序列预测的性能。通过在标准基准数据集上的广泛实验，我们证明 TTT 模块始终优于最先进的模型，包括基于 Mamba 的 TimeMachine，特别是在涉及较长序列和预测长度的场景中。我们的结果显示，在均方误差 (MSE) 和平均绝对误差 (MAE) 上均有显著改善，特别是在 Electricity、Traffic 和 Weather 等更大数据集上，凸显了 TTT 在捕获长程依赖方面的有效性。此外，我们探索了 TTT 框架内的各种卷积架构，表明即使是带有小滤波器的简单一维卷积配置也能取得具有竞争力的结果。这项工作为时间序列预测设定了新的基准，并为未来在可扩展、高性能预测模型方面的研究奠定了基础。
引用
@article{arxiv.2409.14012,
title = {Test Time Learning for Time Series Forecasting},
author = {Panayiotis Christou and Shichu Chen and Xupeng Chen and Parijat Dube},
journal= {arXiv preprint arXiv:2409.14012},
year = {2024}
}