MapFormer：利用变化前信息提升变化检测
计算机视觉与模式识别
2023-12-08 v4
摘要
遥感影像中的变化检测对城市规划、灾害管理与气候研究等多种应用至关重要。然而，现有识别语义变化区域的方法忽视了以描述地表特征的现有地图形式提供的语义信息。本文中，我们利用该信息用于双时相影像的变化检测。我们表明，通过潜表示拼接简单整合额外信息即足以显著优于最先进的变化检测方法。受此观察启发，我们提出新任务“条件变化检测”（Conditional Change Detection），其中变化前语义信息作为双时相影像之外的输入。为充分利用额外信息，我们提出 *MapFormer*，一种基于多模态特征融合模块的新架构，可对依赖于可用语义信息的特征进行处理。我们进一步采用有监督跨模态对比损失以引导视觉表示的学习。我们的方法在 DynamicEarthNet 与 HRSCD 上分别以二值变化 IoU 绝对提升 11.7% 与 18.4% 优于现有变化检测方法。此外，我们展示了我们的方法对变化前语义信息质量及缺失变化前影像的鲁棒性。代码见 https://github.com/mxbh/mapformer。
引用
@article{arxiv.2303.17859,
title = {MapFormer: Boosting Change Detection by Using Pre-change Information},
author = {Maximilian Bernhard and Niklas Strauß and Matthias Schubert},
journal= {arXiv preprint arXiv:2303.17859},
year = {2023}
}
备注
accepted at ICCV 2023