基于像素级多模态对比学习的遥感图像
计算机视觉与模式识别
2026-01-08 v1 人工智能
摘要
卫星持续生成大量数据，尤其是地球观测领域，包括卫星图像时间序列(SITS)。然而，大多数深度学习模型设计为处理整个图像或完整的时间序列，以提取下游任务的有意义特征。本研究提出一种新型多模态方法，利用像素级二维(2D)表示来更有效地编码SITS中视觉属性的变化。具体而言，我们从像素级植被指数时间序列(NDVI、EVI和SAVI)生成递归图，以替代使用原始像素值，创建更具信息性的表示。此外，我们引入PIxel-wise Multimodal Contrastive (PIMC)，一种新的多模态自监督方法，基于二维像素时间序列表示和遥感图像(RSI)产生有效编码器。为验证我们的方法，在三个下游任务上进行评估：使用PASTIS数据集进行像素级预测和分类，在EuroSAT数据集上进行土地覆盖分类。此外，我们在所有下游任务上与最先进(SOTA)方法进行比较。我们的实验结果表明，2D表示显著增强了从SITS中提取特征，而对比学习提高了像素时间序列和RSI的表示质量。这些发现表明，我们的多模态方法在各种地球观测任务中超越了现有模型，建立了用于处理SITS和RSI的稳健自监督框架。代码可在...
引用
@article{arxiv.2601.04127,
title = {Pixel-Wise Multimodal Contrastive Learning for Remote Sensing Images},
author = {Leandro Stival and Ricardo da Silva Torres and Helio Pedrini},
journal= {arXiv preprint arXiv:2601.04127},
year = {2026}
}
备注
21 pages, 9 Figures