基础模型发现了什么？利用归纳偏置探测世界模型

基础模型基于序列预测能 uncovering 更深层次域理解的观念，其类似于科特子对行星运动的预测后导致牛顿力学的发现。然而，评估这些模型是否真正捕捉到更深层结构仍是一个挑战。我们发展了一种评估基础模型的技术，通过检查它们如何适应来自某个假设世界模型生成的合成数据集来评估。我们的技术衡量基础模型的归纳偏置是否与世界模型一致，因此我们称之为归纳偏置探针。在多个领域，我们发现基础模型在其训练任务中表现出色，却在适应新任务时未能发展出对 underlying world model 的归纳偏置。我们特别发现，在轨道轨迹上训练的基础模型在适应新的物理任务时始终无法应用牛顿力学。进一步的分析揭示，这些模型行为上好像发展出的是特定于任务的启发式方法，这些方法无法泛化。