扩展全局-局部视图对齐的自监督遥感影像学习
计算机视觉与模式识别
2024-04-25 v2
摘要
由于大量高质量遥感图像易于获取,利用较少人工标注的图像语料库日益受到关注。自监督模型通过构建为海量无标签数据生成伪标签的代理任务来提供训练监督,从而获取通用特征表示。尽管先前研究已探索了遥感领域多种自监督学习技术,但基于局部-全局视图对齐的代理任务仍鲜有探究,尽管其在自然图像上取得了最先进的结果。受 DINO 的启发——其采用基于全局-局部视图对齐的知识蒸馏有效表征学习结构——我们为遥感影像上的自监督学习(SSLRS)构建了两种代理任务。利用这些任务,我们探究了正时间对比以及多尺寸视图在 SSLRS 上的有效性。我们扩展 DINO 并提出 DINO-MC,其使用不同尺寸裁剪的局部视图替代单一固定尺寸,以缓解遥感影像中物体尺寸变化有限的问题。我们的实验表明,即便仅在 10% 的数据集上预训练,DINO-MC 在多个遥感任务上的表现也与现有最先进 SSLRS 方法相当或更优,同时消耗更少的计算资源。所有代码、模型与结果发布于 https://github.com/WennyXY/DINO-MC。
引用
@article{arxiv.2303.06670,
title = {Extending global-local view alignment for self-supervised learning with remote sensing imagery},
author = {Xinye Wanyan and Sachith Seneviratne and Shuchang Shen and Michael Kirley},
journal= {arXiv preprint arXiv:2303.06670},
year = {2024}
}