LaVIDE：用于基于地图参考检测卫星图像变化的数语言-视觉判别器
计算机视觉与模式识别
2024-12-02 v1 人工智能
机器学习
摘要
变检测通常依赖于双时相图像的比较，当仅存在单张图像时，此方法效果受限。将单张图像与由众包持续更新的地图（如 OpenStreetMap）进行比较，提供了一种可行的解决方案。不同于承载地面物体低层次视觉细节的图像，地图传递的是高层次的类别信息。这种抽象层次的差异 complicates 了两种数据类型的对齐与比较。本文提出了一种名为 \ours{} 的语言-视觉判别器（Language-Vision Discriminator for Detecting changes in satellite image with map references, 简称LaVIDE），通过语言技术弥合地图与图像之间的信息差。具体而言，\ours{} 将变检测问题形式化为“该像素是否属于[类别]？”，在语言-视觉模型的特征空间中对齐地图与图像，将高层次的地图类别与低层次的图像细节进行关联。此外，构建了一种混合专家判别模块，跨越各种语义视角比较地图的语言特征与图像的视觉特征，实现对变检测的全面语义比较。广泛的在四个基准数据集上的评估表明，\ours{} 能有效地利用地图参考信息检测卫星图像中的变化，超过当前最先进的变检测算法，例如在 DynamicEarthNet 数据集上提升约 13.8%，在 SECOND 数据集上提升约 4.3%。
引用
@article{arxiv.2411.19758,
title = {LaVIDE: A Language-Vision Discriminator for Detecting Changes in Satellite Image with Map References},
author = {Shuguo Jiang and Fang Xu and Sen Jia and Gui-Song Xia},
journal= {arXiv preprint arXiv:2411.19758},
year = {2024}
}