中文

Changeen2:多时序遥感生成式变更基础模型

计算机视觉与模式识别 2024-06-27 v1

摘要

深度视觉模型已推动了对地表时序动力学的理解,但这些模型通常需要大量标记的多时序图像进行训练。然而,规模化收集、预处理和标注多时序遥感图像是昂贵且需要专业知识的。本文提出了基于生成模型的变更数据生成器,成本低廉且自动化,缓解了这些数据问题。我们的主要思想是模拟随时间演化的随机变更过程。我们将随机变更过程描述为概率图模型(GPCM),将复杂的模拟问题分解为两个更易处理的子问题,即变更事件模拟和语义变更合成。为解决这两个问题,我们提出了Changeen2,一种具有分辨率可扩展的扩散变换器,可从标记或未标记的单时序图像生成图像时间序列及其语义和变更标签。Changeen2是一种可通过自监督方式大规模训练的生成式变更基础模型,能够从未标记的单时序图像生成变更监督信号。与现有基础模型不同,Changeen2合成变更数据以训练特定变更检测任务的模型。该模型具有内在的零样本变更检测能力和优异的可迁移性。实验表明,Changeen2在时空可扩展性方面具有优势,例如在256像素×256像素的单时序图像上训练的模型,可生成任意长度和1024像素×1024像素分辨率的时间序列。Changeen2预训练模型在零样本性能上表现优异(在LEVIR-CD上缩小与完全监督方法之间的性能差距至3%,在S2Looking和SECOND上约为10%),并且在多种变更任务上具有良好的可迁移性。

关键词

引用

@article{arxiv.2406.17998,
  title  = {Changen2: Multi-Temporal Remote Sensing Generative Change Foundation Model},
  author = {Zhuo Zheng and Stefano Ermon and Dongjun Kim and Liangpei Zhang and Yanfei Zhong},
  journal= {arXiv preprint arXiv:2406.17998},
  year   = {2024}
}

备注

The enhanced extension of our ICCV 2023 (Changen)