Semantic-CD：面向开放词汇设置的遥感图像语义变化检测
计算机视觉与模式识别
2025-01-14 v1
摘要
遥感图像语义变化检测是一种用于分析遥感图像的方法，旨在识别变化区域，并对在不同时间拍摄的同一位置图像中的这些变化进行分类。传统的变化检测方法在实际场景中跨语义类别的泛化通常面临挑战。为了解决这个问题，我们引入了一种名为 Semantic-CD 的新方法，专门设计用于遥感图像的语义变化检测。该方法结合了来自视觉-语言基础模型 CLIP 的开放词汇语义。通过利用 CLIP 丰富的词汇知识，我们的模型增强了其跨类别泛化的能力，并通过完全解耦的多任务学习（包括二元变化检测和语义变化检测任务）改进了分割。Semantic-CD 由四个主要组件组成：用于从双时相图像中提取特征的双时相 CLIP 视觉编码器，用于使用开放词汇创建语义代价体积图的开放语义提示器，用于生成二元变化检测掩码的二元变化检测解码器，以及用于生成语义标签的语义变化检测解码器。在 SECOND 数据集上的实验结果表明，Semantic-CD 实现了更准确的掩码并减少了语义分类错误，证明了其将视觉-语言基础模型中的语义先验应用于 SCD 任务的有效性。
引用
@article{arxiv.2501.06808,
title = {Semantic-CD: Remote Sensing Image Semantic Change Detection towards Open-vocabulary Setting},
author = {Yongshuo Zhu and Lu Li and Keyan Chen and Chenyang Liu and Fugen Zhou and Zhenwei Shi},
journal= {arXiv preprint arXiv:2501.06808},
year = {2025}
}