面向时序基石模型的隐式偏置理解：设计选择的影响
机器学习
2025-10-23 v1
摘要
时序基石模型 (TSFMs) 是一类可能强大的、通用工具，用于时序预测及相关任务，但其行为受到设计中细微归纳偏置的强烈影响。与开发新模型并声称其优于现有 TSFMs（例如通过在现有已建立基准测试中获胜）不同，我们的目标是理解各种训练过程“旋钮”如何影响模型质量。我们运用理论与受控实证评估，识别出若干设计选择（如 patch 大小、嵌入方式、训练目标等），并展示了这些选择如何导致模型属性（如时序行为、几何结构、回归均值程度等）的隐式偏置；我们也展示了这些偏置可能是直观的，也可能是非常反直觉的，取决于模型和数据的属性。我们还在对异常值处理案例研究中说明了多个偏置如何以复杂方式相互作用；我们讨论了这些结果对学习苦难法则以及构建 TSFMs 的意义。
引用
@article{arxiv.2510.19236,
title = {Understanding the Implicit Biases of Design Choices for Time Series Foundation Models},
author = {Annan Yu and Danielle C. Maddix and Boran Han and Xiyuan Zhang and Abdul Fatir Ansari and Oleksandr Shchur and Christos Faloutsos and Andrew Gordon Wilson and Michael W. Mahoney and Yuyang Wang},
journal= {arXiv preprint arXiv:2510.19236},
year = {2025}
}