论神经时间序列基础模型的标度规律

标度规律为设计时间序列基础模型（TSFMs）提供了有价值的见解。然而，先前的研究主要关注TSFMs在分布内（ID）数据的标度规律，关于分布外（OOD）标度行为及模型架构的影响探讲不足。本文考察两种常见的TSFMs架构，即仅编码器和仅解码器的Transformer，并在ID和OOD数据上检验其标度行为。这些模型在不同参数数量、计算预算和数据集大小下进行训练和评估。我们的实验表明，TSFMs的对数似然损失在OOD和ID设置下 exhibit相似的标度行为。我们进一步比较了不同架构的标度特性，选取两种最先进的TSFMs作为案例研究，显示模型架构在标度中发挥重要作用。编码器-only Transformer的可扩展性优于解码器-only Transformer，而两种先进TSFMs的架构改进主要提升ID性能但降低OOD可扩展性。虽然扩大TSFMs的规模预期会带来性能突破，但缺乏对TSFMs标度规律的全面理解，阻碍了制定稳健框架以指导模型扩张的发展。本文通过综合我们的发现，提供实用指南，以指导设计和扩大更具增强能力的TSFMs。