面向遥感图像的通用知识增强预训练
计算机视觉与模式识别
2024-01-23 v2
摘要
深度学习模型对于场景分类、变化检测、土地覆盖分割和其他遥感图像理解任务至关重要。现有遥感深度学习模型的大多数主干网络通常由从 ImageNet 预训练（IMP）获得的预训练权重初始化。然而，遥感图像与自然图像（例如 ImageNet）之间存在领域差距，使得由 IMP 预训练权重初始化的深度学习模型在遥感图像理解方面表现不佳。尽管遥感社区研究了一些预训练方法，但当前的遥感预训练方法仅使用遥感图像，面临泛化性模糊的问题。在本文中，我们提出了一种新颖的遥感预训练框架，即通用知识增强遥感预训练（GeRSP），以从遥感和自然图像中学习鲁棒表示，用于遥感理解任务。GeRSP 包含两个预训练分支：（1）采用自监督预训练分支从未标记的遥感图像中学习领域相关表示。（2）将监督预训练分支集成到 GeRSP 中，用于从标记的自然图像中学习通用知识。此外，GeRSP 使用师生架构结合两个预训练分支，以同时学习具有通用和特殊知识的表示，从而生成用于深度学习模型初始化的强大预训练模型。最后，我们在三个下游任务（即目标检测、语义分割和场景分类）上评估了 GeRSP 和其他遥感预训练方法。广泛的实验结果一致表明，GeRSP 能够以统一的方式有效学习鲁棒表示，提高遥感下游任务的性能。
引用
@article{arxiv.2401.04614,
title = {Generic Knowledge Boosted Pre-training For Remote Sensing Images},
author = {Ziyue Huang and Mingming Zhang and Yuan Gong and Qingjie Liu and Yunhong Wang},
journal= {arXiv preprint arXiv:2401.04614},
year = {2024}
}
备注
14 pages, 6 figures