M$^2$CD:融合混合专家与自蒸馏的光学-SAR 变化检测统一多模态框架
计算机视觉与模式识别
2025-03-26 v1
摘要
现有大多数变化检测 (CD) 方法聚焦于不同时刻采集的光学图像,深度学习 (DL) 已在此领域取得显著成功。然而,在灾害响应等极端场景中,合成孔径雷达 (SAR) 凭借其主动成像能力,更适合提供灾后数据。这为 CD 方法带来了新的挑战,因为现有的权重共享孪生网络难以有效学习光学与 SAR 图像之间的跨模态数据分布。为应对这一挑战,我们提出了统一的多模态 CD 框架 MCD。我们在主干网络中集成混合专家 (MoE) 模块,以显式处理多种模态,从而增强模型学习多模态数据分布的能力。此外,我们创新性地提出了光学到 SAR 引导路径 (O2SP),并在训练中实施自蒸馏,以缩小不同模态间的特征空间差异,进一步减轻模型的学习负担。我们基于 CNN 与 Transformer 主干设计了多种 MCD 变体。大量实验验证了所提框架的有效性,其中 MiT-b1 版本的 MCD 在光学-SAR CD 任务上优于所有当前最优 (SOTA) 方法。
引用
@article{arxiv.2503.19406,
title = {M$^2$CD: A Unified MultiModal Framework for Optical-SAR Change Detection with Mixture of Experts and Self-Distillation},
author = {Ziyuan Liu and Jiawei Zhang and Wenyu Wang and Yuantao Gu},
journal= {arXiv preprint arXiv:2503.19406},
year = {2025}
}
备注
5 pages, 2 figures