SS-MAE：面向多源遥感图像分类的空间-光谱掩码自编码器
图像与视频处理
2023-11-09 v1 计算机视觉与模式识别
摘要
掩码图像建模（MIM）是一种非常流行且有效的用于图像理解的自监督学习方法。现有基于 MIM 的方法大多关注空间特征建模，忽视了光谱特征建模。同时，现有基于 MIM 的方法使用 Transformer 进行特征提取，部分局部或高频信息可能会丢失。为此，我们提出了一种用于高光谱图像（HSI）与 LiDAR/SAR 数据联合分类的空间-光谱掩码自编码器（SS-MAE）。具体而言，SS-MAE 由空间分支和光谱分支组成。空间分支掩码随机图像块并重建缺失像素，而光谱分支掩码随机光谱通道并重建缺失通道。我们的 SS-MAE 充分利用了输入数据的空间与光谱表征。此外，为在训练阶段补充局部特征，我们添加了两个轻量级 CNN 用于特征提取。全局与局部特征均被纳入特征建模的考虑之中。为证明所提 SS-MAE 的有效性，我们在三个公开数据集上进行了大量实验。在三个多源数据集上的广泛实验验证了我们的 SS-MAE 相较于若干最先进（SOTA）基线的优越性。源代码可在 \url{https://github.com/summitgao/SS-MAE} 获取。
引用
@article{arxiv.2311.04442,
title = {SS-MAE: Spatial-Spectral Masked Auto-Encoder for Multi-Source Remote Sensing Image Classification},
author = {Junyan Lin and Feng Gao and Xiaocheng Shi and Junyu Dong and Qian Du},
journal= {arXiv preprint arXiv:2311.04442},
year = {2023}
}
备注
IEEE TGRS 2023