REJEPA：一种用于高效遥感图像检索的联合嵌入预测架构
计算机视觉与模式识别
2025-06-02 v2
摘要
遥感图像档案的快速扩张需求驱动了强大且高效的内容基于图像检索（RS-CBIR）技术的开发。本文提出了 REJEPA（Retrieval with Joint-Embedding Predictive Architecture，联合嵌入预测架构），这是一种创新的自监督框架，旨在实现单模态 RS-CBIR。REJEPA 利用空间分布的上下文 token 编码来预测目标 token 的抽象表示，有效捕获高级语义特征并消除不必要的像素级细节。与专注于像素重建的生成方法或依赖负样本对的对比方法不同，REJEPA 在特征空间内运行，相较于基于像素重建的基线方法如掩码自编码器（MAE）在计算复杂度上降低 40%-60%。为保证强且多样化的表示，REJEPA 引入方差-不变性-协方差正规化（VICReg），通过促进特征多样性和减少冗余度防止编码器坍缩。该方法在 BEN-14K（S1）上提升检索准确率 5.1%，BEN-14K（S2）上提升 7.4%，FMoW-RGB 上提升 6.0%，FMoW-Sentinel 上提升 10.1%，对比包括 CSMAE-SESD、Mask-VLM、SatMAE、ScaleMAE 和 SatMAE++ 等突出的自监督学习技术。在广泛的遥感基准数据集 BEN-14K（多光谱和 SAR 数据）、FMoW-RGB 和 FMoW-Sentinel 上进行实验，REJEPA 通过有效的传感器模态间推理，确立了其作为高效、可扩展且精确的 RS-CBIR 的基准，解决了分辨率变化、高目标密度和复杂背景等挑战。
引用
@article{arxiv.2504.03169,
title = {REJEPA: A Novel Joint-Embedding Predictive Architecture for Efficient Remote Sensing Image Retrieval},
author = {Shabnam Choudhury and Yash Salunkhe and Sarthak Mehrotra and Biplab Banerjee},
journal= {arXiv preprint arXiv:2504.03169},
year = {2025}
}
备注
14 pages