一种基于基础模型的遥感变化检测新学习范式
计算机视觉与模式识别
2024-02-13 v2
摘要
变化检测（CD）是观测和分析土地覆盖动态过程的关键任务。尽管众多基于深度学习的 CD 模型表现优异，但其进一步的性能提升受限于从给定标注数据中提取的有限知识。另一方面，近期出现的基础模型通过在数据模态和代理任务上进行扩展，蕴含了海量知识。在本文中，我们提出了一种双时相适配器网络（BAN），这是一个通用的基于基础模型的 CD 适配框架，旨在为基础模型提取用于 CD 的知识。所提出的 BAN 包含三个部分，即冻结的基础模型（如 CLIP）、双时相适配器分支（Bi-TAB）以及它们之间的桥接模块。具体而言，BAN 通过冻结的基础模型提取通用特征，随后通过桥接模块将这些特征进行选择、对齐并注入 Bi-TAB。Bi-TAB 被设计为一种与模型无关的概念，用于提取任务/领域特定的特征，它可以是现有的任意 CD 模型或一些手工堆叠的模块。超越现有的定制模型，BAN 是将基础模型适配到 CD 任务的首次广泛尝试。实验结果表明，我们的 BAN 仅需少量额外的可学习参数即可有效提升现有 CD 方法的性能（例如，IoU 提升高达 4.08%）。更重要的是，这些成功的实践向我们展示了基础模型在遥感 CD 中的潜力。代码可在 \url{https://github.com/likyoo/BAN} 获取，并将在我们的 Open-CD 中得到支持。
引用
@article{arxiv.2312.01163,
title = {A New Learning Paradigm for Foundation Model-based Remote Sensing Change Detection},
author = {Kaiyu Li and Xiangyong Cao and Deyu Meng},
journal= {arXiv preprint arXiv:2312.01163},
year = {2024}
}