面向卫星图像时序的时空基础模型 TiMo
计算机视觉与模式识别
2025-05-14 v1
摘要
卫星图像时序(SITS)提供对地表持续观测，对于环境管理和灾害评估等应用至关重要。然而，现有时空基础模型依赖于普通视觉变换器，对整个时间序列进行编码，却未显式捕获土地对象之间跨尺度的时空关系。这一局限性阻碍了其在下游任务中的有效性。为克服此挑战，我们提出TiMo，一种专为SITS分析设计的分层视觉变换器基础模型。其核心引入时空陀螺注意力机制，动态捕获跨时间和空间的演化多尺度模式。针对预训练，我们构建MillionST数据集，包含100,000个地理位置、每个位置10个时间相位、共百万幅图像，涵盖多样化地理空间变化和季节性变化。利用该数据集，我们采用掩码图像建模进行预训练，使TiMo能够有效学习和编码通用时空表征。广泛实验包括森林砍伐监测、土地覆盖分割、作物类型分类和洪水检测，均显示TiMo在多项指标上优于最先进方法。代码、模型和数据集将发布于https://github.com/MiliLab/TiMo。
引用
@article{arxiv.2505.08723,
title = {TiMo: Spatiotemporal Foundation Model for Satellite Image Time Series},
author = {Xiaolei Qin and Di Wang and Jing Zhang and Fengxiang Wang and Xin Su and Bo Du and Liangpei Zhang},
journal= {arXiv preprint arXiv:2505.08723},
year = {2025}
}