EarthPT：面向地球观测的时间序列基础模型

我们介绍了 EarthPT——一个地球观测（EO）预训练 transformer。EarthPT 是一个拥有 7 亿参数的解码 transformer 基础模型，以自回归自监督方式训练，并专门针对 EO 应用场景而开发。我们证明 EarthPT 是一个有效的预测器，能够准确预测未来像素级地表反射率，覆盖 400–2300 nm 范围并延伸至未来。例如，对归一化植被指数（NDVI）演化的预测在五个月测试集时间跨度上像素级典型误差约为 0.05（自然范围为 -1 到 1），优于基于历史平均的简单相位折叠模型。我们还证明 EarthPT 学到的嵌入包含语义上有意义的信息，可用于下游任务，如高粒度动态土地利用分类。令人振奋的是，我们注意到 EO 数据的丰富性在理论上为我们提供了千万亿量级的训练 token。因此，如果我们假设 EarthPT 遵循类似于大语言模型（LLMs）推导出的神经缩放定律，目前尚无数据层面的限制来扩展 EarthPT 及其他类似的“大观测模型”。