面向遥感自监督学习的特征引导掩码自编码器
计算机视觉与模式识别
2023-10-31 v1
摘要
由掩码图像建模引导的自监督学习，如掩码自编码器 (MAE)，在遥感视觉Transformer预训练中广受关注。然而，MAE 往往过度关注像素细节，从而限制了模型的语义理解能力，尤其对于含噪 SAR 图像。本文中，我们探索将光谱与空间遥感图像特征作为改进的 MAE 重建目标。我们首先开展了一项重建多种图像特征的研究，其表现均与原始像素相当或更优。基于此类观察，我们提出特征引导掩码自编码器 (FG-MAE)：对多光谱图像重建方向梯度直方图 (HOG) 与归一化差值指数 (NDI) 的组合，对 SAR 图像重建 HOG。三项下游任务的实验结果说明了 FG-MAE 的有效性，对 SAR 影像提升尤为明显。此外，我们展示了 FG-MAE 良好的可扩展性继承，并发布了一系列面向中分辨率 SAR 与多光谱图像的预训练视觉 Transformer 首版模型。
引用
@article{arxiv.2310.18653,
title = {Feature Guided Masked Autoencoder for Self-supervised Learning in Remote Sensing},
author = {Yi Wang and Hugo Hernández Hernández and Conrad M Albrecht and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2310.18653},
year = {2023}
}
备注
13 pages, 8 figures