面向时空显式环境建模的上下文感知多模态表征学习

地球观测 (EO) 基础模型已成为有效从各种遥感传感器中派生地球系统潜在表征的有效方法。这些模型产生的嵌入可作为分析就绪数据集使用，使生态系统动力学建模无需广泛的传感器特定预处理。然而，现有模型通常在固定的空间或时间尺度上运行，限制了那些需要细粒度空间细节和高时间保真度进行生态分析的用途。为克服这些限制，我们提出了一个集成不同 EO 模式到统一特征空间的表征学习框架，以实现高时空分辨率。我们使用 Sentinel-1 和 Sentinel-2 数据作为代表性模态。我们的 method 在本机 10 m 分辨率和云-free Sentinel-2 采集的频率下产生潜在空间。每个传感器首先独立建模以捕获其传感器特定特征。然后，这些表征被整合到共享模型中。这种两阶段设计使特定模态的优化和对新传感器的扩展成为可能，同时保留预训练的编码器仅重新训练融合层。这使模型能够捕获互补的遥感数据并在空间和时间上保持一致性。定性分析表明，所学嵌入在异构 landscape 上的空间和语义一致性很高。定量评估在对初级生产量 (GPP) 的建模中表明，它们编码了生态学有意义的模式，并保留了足够的时序保真度以支持细粒度分析。总体而言，所提出的框架为需要多种空间和时间分辨率的环境应用提供了一种灵活、分析就绪的表征学习方法。