SwinV2DNet：面向遥感图像变化检测的金字塔与自监督复合特征学习
计算机视觉与模式识别
2023-08-23 v1
摘要
在当前主流变化检测网络中，transformer 缺乏捕捉准确低级细节的能力，而卷积神经网络（CNN）欠缺理解全局信息与建立远距离空间关系的能力。同时，广泛使用的早期融合与晚期融合框架均不能很好地学习完整变化特征。因此，基于 swin transformer V2（Swin V2）与 VGG16，我们提出端到端复合稠密网络 SwinV2DNet，以继承 transformer 与 CNN 的优势并克服现有网络在特征学习上的不足。首先，它通过稠密连接的 Swin V2 主干捕捉变化关系特征，并通过 CNN 分支提供低级变化前与变化后特征。基于这三种变化特征，我们获得准确的变化检测结果。其次，结合 transformer 与 CNN，我们提出混合特征金字塔（MFP），为完整特征学习提供层间交互信息与层内多尺度信息。MFP 是即插即用模块，实验证明在其他变化检测网络中同样有效。此外，我们施加自监督策略引导新的 CNN 分支，解决了 CNN 分支不可训练的问题，并为编码器特征提供语义变化信息。在四个常用公开遥感数据集上，相较其他先进方法取得了最先进（SOTA）的变化检测分数与细粒度变化图。代码见 https://github.com/DalongZ/SwinV2DNet。
引用
@article{arxiv.2308.11159,
title = {SwinV2DNet: Pyramid and Self-Supervision Compounded Feature Learning for Remote Sensing Images Change Detection},
author = {Dalong Zheng and Zebin Wu and Jia Liu and Zhihui Wei},
journal= {arXiv preprint arXiv:2308.11159},
year = {2023}
}