ObjFormer：通过对象引导 Transformer 从配对 OSM 数据与光学高分辨率影像学习地表覆盖变化
计算机视觉与模式识别
2024-06-27 v3 人工智能
计算机与社会
多媒体
摘要
光学高分辨率影像与 OSM 数据是变化检测（CD）的两个重要数据源。以往相关研究侧重于利用 OSM 数据中的信息来辅助光学高分辨率影像上的 CD。本文开创了利用配对 OSM 数据与光学影像直接检测地表覆盖变化的先河，从而拓展了 CD 任务的范围。为此，我们通过将基于对象的图像分析（OBIA）技术与先进的视觉 Transformer 架构自然结合，提出了一种对象引导 Transformer（ObjFormer）。该结合能在不增加额外参数或层的情况下显著减少自注意力模块中的计算开销。ObjFormer 具有一个由对象引导自注意力模块组成的分层伪孪生编码器，从 OSM 数据与光学影像中提取多级异构特征；一个由对象引导交叉注意力模块组成的解码器可从提取的异构特征中恢复地表覆盖变化。除基础二值变化检测外，本文提出了一种新的半监督语义变化检测任务，该任务不需要任何人工标注的地表覆盖标签来训练语义变化检测器。向 ObjFormer 添加两个轻量级语义解码器以高效完成该任务。设计了一种反向交叉熵损失以充分利用负样本，促成了该任务中大幅的性能提升。我们构建了一个称为 OpenMapCD 的大规模基准数据集，包含覆盖六大洲 40 个区域的 1,287 个样本以开展详细实验。结果表明我们的方法在这一新型 CD 任务中的有效性。此外，日本城市的案例研究展示了该框架的泛化性与实际潜力。OpenMapCD 与源代码发布于 https://github.com/ChenHongruixuan/ObjFormer。
引用
@article{arxiv.2310.02674,
title = {ObjFormer: Learning Land-Cover Changes From Paired OSM Data and Optical High-Resolution Imagery via Object-Guided Transformer},
author = {Hongruixuan Chen and Cuiling Lan and Jian Song and Clifford Broni-Bediako and Junshi Xia and Naoto Yokoya},
journal= {arXiv preprint arXiv:2310.02674},
year = {2024}
}
备注
Accepted by IEEE TGRS