掩码角度感知自编码器用于遥感图像

为克服遥感图像与自然图像之间固有的域间差异，一些自监督表征学习方法取得了令人鼓舞的进展。然而，这些方法忽略了遥感对象中所包含的多样化角度。本文提出了掩码角度感知自编码器（Masked Angle-Aware Autoencoder, MA3E），以在预训练期间感知并学习角度信息。我们设计了\textit{scaling center crop}操作，在每个原始图像上创建带有随机方向的旋转裁剪，从而引入显式角度变化。MA3E将输入该复合图像，并重构原始图像，旨在通过恢复在旋转裁剪上引入的角度变化，有效学习旋转不变的表征。为避免直接重构旋转裁剪所导致的偏差，我们提出了最优传输（Optimal Transport, OT）损失，以自动为每个旋转裁剪块分配相似的原始图像块进行重构。实验表明，在七个不同的遥感图像数据集上的七个下游任务中，MA3E的表现优于现有的预训练方法。