TFB: 面向时间序列预测方法的全面公平基准测试

时间序列在诸如经济、交通、健康和能源等不同领域生成，对未来值的预测有许多重要应用。毫不奇怪，许多预测方法被提出。为了确保进展，能够以全面可靠的方式对这些方法进行实证研究和比较至关重要。为此，我们提出了TFB，一个用于时间序列预测（TSF）方法的自动化基准测试。TFB通过解决与数据集、比较方法和评估流程相关的缺点来推进现有技术：1）数据领域覆盖不足，2）对传统方法的刻板偏见，以及3）不一致且不灵活的流程。为了实现更好的领域覆盖，我们包含了来自10个不同领域的数据集：交通、电力、能源、环境、自然、经济、股票市场、银行、健康和网络。我们还提供了时间序列特征描述，以确保所选数据集是全面的。为了消除对某些方法的偏见，我们包含了多种方法，包括统计学习、机器学习和深度学习方法，并且我们还支持多种评估策略和指标，以确保对不同方法进行更全面的评估。为了支持将不同方法集成到基准测试中并实现公平比较，TFB具有灵活且可扩展的流程，消除了偏见。接下来，我们使用TFB对8,068个单变量时间序列上的21种单变量时间序列预测（UTSF）方法和25个数据集上的14种多变量时间序列预测（MTSF）方法进行了彻底评估。基准测试代码和数据可在https://github.com/decisionintelligence/TFB获取。我们还推出了一个在线时间序列排行榜：https://decisionintelligence.github.io/OpenTS/OpenTS-Bench/。