CROMA：基于对比雷达-光学掩码自编码器的遥感表征
计算机视觉与模式识别
2023-11-02 v1
摘要
遥感是一项重要且快速增长的应用，提供了海量但标签稀疏、空间对齐的多模态数据；这使得自监督学习算法极具价值。我们提出CROMA：一个结合对比与重建自监督目标以学习丰富单模态与多模态表征的框架。我们的方法分别编码在空间和时间上对齐的掩码多光谱光学与合成孔径雷达样本，并执行跨模态对比学习。另一个编码器融合这些传感器，产生联合多模态编码，并通过轻量解码器预测掩码块。我们表明，当在空间对齐的多模态数据上使用时，这些目标是互补的。我们还引入了X-ALiBi和2D-ALiBi，它们对跨注意力和自注意力矩阵进行空间偏置。这些策略改善了表征，并使我们的模型在测试时能有效外推至至多17.6倍大的图像。CROMA优于当前最先进（SoTA）的多光谱模型，在以下任务上评估：四个分类基准——微调（平均1.8%）、线性（平均2.4%）和非线性（平均1.4%）探测、kNN分类（平均3.5%）和K-means聚类（平均8.4%）；以及三个分割基准（平均6.4%）。CROMA丰富的、可选多模态的表征可广泛用于遥感应用。
引用
@article{arxiv.2311.00566,
title = {CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders},
author = {Anthony Fuller and Koreen Millard and James R. Green},
journal= {arXiv preprint arXiv:2311.00566},
year = {2023}
}
备注
NeurIPS 2023 Camera Ready