上下文复读：科学机器学习中基础模型的一个简单但难以超越的基线

最近的时间序列基础模型展现出预测物理系统的强大能力。这些能力包括零样本预测，即模型仅根据作为上下文的一条短轨迹来预测系统的未来状态，而无需了解底层物理。在此，我们展示了基础模型通常通过一种简单的复读策略进行预测，而当它们不复读时，会表现出一些共同的失效模式，例如收敛到均值。结果，一个直接从上下文复制的朴素上下文复读模型，在预测包括低维混沌、湍流、耦合振荡器和心电图在内的多种动力系统时，其得分高于领先的时间序列基础模型，而计算成本仅为后者的一小部分。我们在上下文复读和归纳头之间建立了平行关系，这解释了最近的研究表明大型语言模型通常可以被重新用于时间序列预测。我们的动力系统视角还将预测准确性与上下文长度之间的缩放关系与底层混沌吸引子的分形维数联系起来，为先前观察到的上下文神经缩放定律提供了见解。通过揭示当前时间序列基础模型的性能差距和失效模式，上下文复读可以指导未来基础模型的设计，并帮助识别超越复读的上下文学习策略。