基于先验引导的光学-雷达多模态特征融合变更检测方法
计算机视觉与模式识别
2026-04-08 v1
摘要
多模态变更检测（MMCD）用于识别多模态遥感（RS）数据中的变更区域，在土地利用监测、灾后评估和城市可持续发展等方面展现出重要应用价值。然而，现有文献中MMCD方法在跨模态互动和利用模态特定特征方面存在局限，导致难以充分建模细粒度变更信息，进而阻碍对语义变更的精准检测。为此，本文提出STSF-Net框架，用于光学与雷达图像间的MMCD。STSF-Net联合建模模态特定特征与时空公共特征，以增强变更表征。具体而言，模态特定特征用于捕获真实语义变更信号，时空公共特征用于抑制因影像机制差异导致的伪变更。进而，本文引入光学-雷达特征融合策略，基于来自预训练基础模型获取的语义先验，自适应调整特征重要性，实现语义引导的多模态信息自适应融合。此外，本文首次公开Delta-SN6数据集——目前首个开放式多类MMCD基准，包含超高分辨率（VHR）全极化SAR与光学图像。实验结果表明，在Delta-SN6、BRIGHT和Wuhan-Het数据集上，本方法分别在mIoU上超越当前最先进（SOTA）方法3.21%、1.08%和1.32%。相关代码与Delta-SN6数据集将发布于：https://github.com/liuxuanguang/STSF-Net。
引用
@article{arxiv.2604.05527,
title = {Prior-guided Fusion of Multimodal Features for Change Detection from Optical-SAR Images},
author = {Xuanguang Liu and Lei Ding and Yujie Li and Chenguang Dai and Zhenchao Zhang and Mengmeng Li and Ziyi Yang and Yifan Sun and Yongqi Sun and Hanyun Wang},
journal= {arXiv preprint arXiv:2604.05527},
year = {2026}
}