Fus-MAE：一种基于交叉注意力的遥感掩码自编码器数据融合方法
计算机视觉与模式识别
2025-03-25 v2
摘要
用于表示学习的自监督框架最近引起了遥感社区的兴趣，因为它们有潜力缓解整理大型卫星图像数据集相关的高昂标注成本。在多模态数据融合领域，虽然常用的对比学习方法有助于弥合不同传感器类型之间的领域差距，但它们依赖于需要专业知识和精心设计的数据增强技术，特别是对于多光谱遥感数据。一种可能但研究较少的规避这些限制的方法是使用基于掩码图像建模的预训练策略。在本文中，我们介绍了 Fus-MAE，这是一种基于掩码自编码器的自监督学习框架，它利用交叉注意力在合成孔径雷达和多光谱光学数据之间执行早期和特征级的数据融合——这是两种具有显著领域差距的模态。我们的实证结果表明，Fus-MAE 能够有效竞争专为 SAR-光学数据融合定制的对比学习策略，并优于在更大数据语料库上训练的其他掩码自编码器框架。
引用
@article{arxiv.2401.02764,
title = {Fus-MAE: A cross-attention-based data fusion approach for Masked Autoencoders in remote sensing},
author = {Hugo Chan-To-Hing and Bharadwaj Veeravalli},
journal= {arXiv preprint arXiv:2401.02764},
year = {2025}
}