探究时间序列基础模型中的组合推理能力
机器学习
2025-09-11 v2
摘要
大型预训练时间序列基础模型 (TSFM) 已在广泛领域展现出令人鼓舞的零样本性能。然而，一个问题仍然存在：TSFM 的成功是通过记忆训练数据中的模式，还是它们具备推理这些模式的能力？虽然推理是大型语言模型 (LLM) 研究中一个备受关注的话题，但在 TSFM 的背景下，它尚未被定义且在很大程度上未被探索。在这项工作中，受语言建模文献的启发，我们正式定义了预测中的组合推理，并将其与分布内泛化区分开来。我们在多个合成和真实世界数据集上评估了 16 种流行的深度学习预测模型的推理和泛化能力。此外，通过对照研究，我们系统地考察了 7 个流行的开源 TSFM 中的哪些设计选择有助于提高推理能力。我们的研究对 TSFM 架构设计对组合推理和泛化的影响产生了关键见解。我们发现，基于分块的 Transformer 具有最佳的推理性能，紧随其后的是残差化 MLP 架构，后者在 FLOPs 方面的计算复杂度降低了 97%，在可训练参数数量方面减少了 86%。有趣的是，在某些零样本分布外场景中，这些模型可以优于在分布内数据上训练的移动平均和指数平滑统计基线。只有少数设计选择，例如分词方法，对 Transformer 模型性能产生了显著的（负面）影响。
引用
@article{arxiv.2502.06037,
title = {Investigating Compositional Reasoning in Time Series Foundation Models},
author = {Willa Potosnak and Cristian Challu and Mononito Goswami and Kin G. Olivares and Michał Wiliński and Nina Żukowska and Artur Dubrawski},
journal= {arXiv preprint arXiv:2502.06037},
year = {2025}
}