从双时相光学影像推断三维变化检测
图像与视频处理
2023-01-18 v2 计算机视觉与模式识别
摘要
变化检测是遥感（RS）中最活跃的研究领域之一。近来开发的大多数变化检测方法基于深度学习（DL）算法。此类算法通常侧重于生成二维（2D）变化图，从而仅识别土地利用/土地覆盖（LULC）中的平面变化，而不考虑也不返回任何关于相应高程变化的信息。我们的工作更进一步，提出两个新颖网络，能够同时解决 2D 与 3D CD 任务，以及 3DCD 数据集——一个专为该多任务精确设计的、可免费获取的新数据集。具体而言，本工作的目标是为能够自动推断高程（3D）CD 图——连同标准 2D CD 图——的 DL 算法的发展奠定基础，且仅从一对双时相光学影像出发。所提用于执行前述任务的架构包括一个基于 transformer 的网络，即多任务双时相影像 Transformer（MTBIT），以及一个深度卷积网络，即孪生 ResUNet（SUNet）。特别地，MTBIT 是一个基于语义 tokenizer 的 transformer 架构；而 SUNet 则在孪生编码器中结合跳跃连接与残差层以学习丰富特征，能够高效解决所提任务。因此，这些模型能够由两幅不同时刻拍摄的光学影像获得 3D CD 图，而在推断步骤中无需直接依赖高程数据。在全新 3DCD 数据集上取得的令人鼓舞的结果已被展示。代码与 3DCD 数据集可在 https://sites.google.com/uniroma1.it/3dchangedetection/home-page 获取。
引用
@article{arxiv.2205.15903,
title = {Inferring 3D change detection from bitemporal optical images},
author = {Valerio Marsocci and Virginia Coletta and Roberta Ravanelli and Simone Scardapane and Mattia Crespi},
journal= {arXiv preprint arXiv:2205.15903},
year = {2023}
}
备注
https://doi.org/10.1016/j.isprsjprs.2022.12.009