多模态图像变化检测的跨域可分离翻译网络
图像与视频处理
2024-10-23 v1 计算机视觉与模式识别
摘要
在遥感领域，多模态变化检测 (MCD) 因其能够追踪不同成像条件和传感器类型之间的变化，具有广泛的实际应用价值。本文聚焦于解决 MCD 挑战，尤其是不同传感器之间图像风格和地理空间对象统计特性差异导致的难以比较问题。传统 MCD 方法常因这些差异而难以准确可靠地获得结果。为克服这些局限，我们提出一种新型无监督跨域可分离翻译网络 (CSTN)，独特地集成了域内自重建与跨域图像翻译及循环重建工作流程，同时包含变化检测约束。该模型通过同时实现图像翻译和 MCD 两个任务进行优化，确保从多模态图像中学习到的特征可比。具体而言，采用一种简洁高效的双分支卷积架构，将多模态图像的内容与风格信息分离。该过程生成与风格无关且可比较的内容特征空间，这对于在显著传感器差异下实现准确变化检测至关重要。大量实验结果表明，所提方法在 MCD 的准确性和有效性方面均显著优于当前最先进的方法。本方法的实现将在 \url{https://github.com/OMEGA-RS/CSTN} 公开。
引用
@article{arxiv.2407.16158,
title = {Cross-Domain Separable Translation Network for Multimodal Image Change Detection},
author = {Tao Zhan and Yuanyuan Zhu and Jie Lan and Qianlong Dang},
journal= {arXiv preprint arXiv:2407.16158},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication