重新审视卫星图像时间序列的编码
计算机视觉与模式识别
2023-09-11 v2
摘要
卫星图像时间序列(SITS)表示学习由于高时空分辨率、不规则采集时间以及复杂的时空交互而十分困难。这些挑战导致了专为SITS分析定制的神经网络架构。该领域已取得先驱研究者带来的可喜成果,但由于现有的次优表示学习框架,将计算机视觉(CV)的最新进展或既定范式迁移至SITS仍极具挑战。本文受近期采用基于查询的transformer解码器来简化目标检测或图像分割流程的趋势启发,提出将SITS处理视为直接的集合预测问题的新视角。我们进一步提出将SITS的表示学习过程分解为三个显式步骤:收集-更新-分发,该过程计算高效且适用于不规则采样与异步的时间卫星观测。得益于这一独特重构,我们所提的SITS时间学习骨干最初在资源高效的像素集格式上预训练,随后在下游稠密预测任务上微调,在PASTIS基准数据集上取得了新的最先进(SOTA)结果。具体而言,SITS语义/全景分割流程中时间与空间组件的清晰分离,使我们能利用CV的最新进展,如通用图像分割架构,相较于迄今报道的最佳分数,分别带来mIoU显著2.5点提升与PQ 8.8点提升。
引用
@article{arxiv.2305.02086,
title = {Revisiting the Encoding of Satellite Image Time Series},
author = {Xin Cai and Yaxin Bi and Peter Nicholl and Roy Sterritt},
journal= {arXiv preprint arXiv:2305.02086},
year = {2023}
}