SwiMDiff：面向遥感影像的场景级匹配对比学习与扩散约束框架
计算机视觉与模式识别
2024-01-11 v1
摘要
随着航空航天技术的近期进展，未标注遥感影像（RSI）数据量急剧增加。通过自监督学习（SSL）有效利用这些数据在遥感领域至关重要。然而，当前方法，尤其是作为主流SSL方法的对比学习（CL），在该领域面临特定挑战。首先，CL常将地理相邻且语义内容相似的样本误判为负对，导致模型训练时的混淆。其次，作为实例级判别任务，它往往忽略非结构化RSI中固有的关键细粒度特征与复杂细节。为克服这些障碍，我们提出了SwiMDiff，一个专为RSI设计的新型自监督预训练框架。SwiMDiff采用场景级匹配方法，有效重新校准标签，将来自同一场景的数据识别为假阴性。这一调整使CL更适用于遥感的细微特性。此外，SwiMDiff将CL与扩散模型无缝集成。通过实施像素级扩散约束，我们增强了编码器更全面地捕获图像全局语义信息和细粒度特征的能力。我们提出的框架显著丰富了遥感下游任务可用的信息。SwiMDiff在变化检测和土地覆盖分类任务中展现出卓越性能，证明了其在遥感领域的实质性效用与价值。
引用
@article{arxiv.2401.05093,
title = {SwiMDiff: Scene-wide Matching Contrastive Learning with Diffusion Constraint for Remote Sensing Image},
author = {Jiayuan Tian and Jie Lei and Jiaqing Zhang and Weiying Xie and Yunsong Li},
journal= {arXiv preprint arXiv:2401.05093},
year = {2024}
}