A²-MAE：基于锚框感知的遥感预训练方法的时空谱统一框架
计算机视觉与模式识别
2024-06-18 v3
摘要
大量遥感（RS）数据提供了跨多个维度的地球观测，涵盖关键的空间、时间与光谱信息，这些信息对于解决全球范围内的挑战（如土地利用监测、灾害防控及环境变化缓解）至关重要。尽管已有多种针对RS数据特征的预训练方法，但仍存在一个关键局限：无法在单一统一模型中有效整合空间、时间与光谱信息。为充挥RS数据的潜力，我们构建了包含多源RS数据、覆盖范围广泛、图像集内位置统一且图像内部异构性的时空谱结构数据集（STSSD）。基于此结构化数据集，我们提出了基于锚框感知的掩码自编码器方法（A²-MAE），利用不同类型图像及地理信息中固有的互补信息，以重建预训练阶段中被掩码的图像块。A²-MAE集成了锚框感知掩码策略和地理编码模块，以充分利用RS图像的特性。具体而言，所提出的锚框感知掩码策略会根据预先选定的锚框图像的元信息，动态调整掩码过程，从而促进在单一模型中对由不同类型遥感源捕获的图像进行训练。此外，我们提出了地理编码方法，以利用准确的空间模式，增强模型在下游任务中针对位置相关应用的泛化能力。广泛的实验表明，我们的方法在各种下游任务上均实现了显著提升，包括图像分类、语义分割和变化检测等，优于现有的RS预训练方法。
引用
@article{arxiv.2406.08079,
title = {A$^{2}$-MAE: A spatial-temporal-spectral unified remote sensing pre-training method based on anchor-aware masked autoencoder},
author = {Lixian Zhang and Yi Zhao and Runmin Dong and Jinxiao Zhang and Shuai Yuan and Shilei Cao and Mengxuan Chen and Juepeng Zheng and Weijia Li and Wei Liu and Wayne Zhang and Litong Feng and Haohuan Fu},
journal= {arXiv preprint arXiv:2406.08079},
year = {2024}
}