基于 Transformer 的多任务一致性约束多模态变化检测
计算机视觉与模式识别
2024-04-18 v3
摘要
变化检测在分析随时间的时间迭代方面对地球观测起着基础性作用。然而，近期研究在很大程度上忽视了多模态数据的利用，相较于单模态方法，多模态数据具有显著的实践和技术优势。本研究聚焦于利用不同时刻获取的{事件前}数字表面模型（DSM）数据与{事件后}数字航拍图像，以检测超越二维的变化。我们观察到，当前变化检测方法在语义变化检测与高度变化检测任务之间存在多任务冲突。为应对该挑战，我们提出了一种高效的基于 Transformer 的网络，通过交叉注意力学习跨维度输入之间的共享表示。其采用一致性约束来建立多模态关系：首先通过高度变化阈值化得到伪变化；随后最小化重叠区域内语义变化与伪变化之间的 距离，从而显式地赋予高度变化检测（回归任务）与语义变化检测（分类任务）表示一致性。我们构建了一个涵盖荷兰三座城市的 DSM 到图像多模态数据集，为基于跨维度输入的超越二维变化检测奠定了新基础。与五种最先进（SOTA）变化检测方法相比，我们的模型在语义与高度变化检测上均展现出一致的多任务优越性。此外，该一致性策略可无缝适配其他方法，带来可观的性能提升。
引用
@article{arxiv.2310.09276,
title = {Transformer-based Multimodal Change Detection with Multitask Consistency Constraints},
author = {Biyuan Liu and Huaixin Chen and Kun Li and Michael Ying Yang},
journal= {arXiv preprint arXiv:2310.09276},
year = {2024}
}