时空量化：用于地球观测的时间序列与图像融合
计算机视觉与模式识别
2026-01-27 v4
摘要
我们提出了一个任务无关的多模态融合框架，用于融合时间序列和单时间戳图像，实现跨模态生成和稳健的下游性能。我们的方法探索了时间序列量化的确定性和学习策略，然后利用掩码相关学习目标，在统一的表示空间中对离散的图像和时间序列标记进行对齐。该方法在地球观测领域实现，预训练模型从卫星图像生成一致的全球温度轮廓，并通过反事实实验进行验证。在下游任务中，我们的任务无关预训练在 R^2 提升约 6%，RMSE 中约 2%，并在 R^2 上超过基线方法 50%，RMSE 上超过 12%。最后，我们分析了跨模态的梯度敏感性，为模型鲁棒性提供了见解。代码、数据和模型权重将在宽松许可证下发布。
引用
@article{arxiv.2510.23118,
title = {Quantizing Space and Time: Fusing Time Series and Images for Earth Observation},
author = {Gianfranco Basile and Johannes Jakubik and Benedikt Blumenstiel and Thomas Brunschwiler and Juan Bernabe Moreno},
journal= {arXiv preprint arXiv:2510.23118},
year = {2026}
}