DDPM-CD：将去噪扩散概率模型作为特征提取器用于变化检测
计算机视觉与模式识别
2024-01-15 v3 机器学习
摘要
遥感变化检测对于理解地球表面的动态至关重要，有助于监测环境变化、评估人类影响、预测未来趋势并支持决策。在这项工作中，我们引入了一种新颖的变化检测方法，该方法通过在训练过程中预训练去噪扩散概率模型（DDPM，一类用于图像合成的生成模型），利用现成的无标签遥感图像。DDPM 通过使用马尔可夫链将训练图像逐渐转换为高斯分布来学习训练数据分布。在推理（即采样）期间，它们可以从高斯噪声开始生成接近训练分布的多样化样本集，实现最先进的图像合成结果。然而，在这项工作中，我们的重点不是图像合成，而是将其用作变化检测下游任务的预训练特征提取器。具体而言，我们利用预训练 DDPM 生成的特征表示以及变化标签对轻量级变化分类器进行微调。在 LEVIR-CD、WHU-CD、DSIFN-CD 和 CDD 数据集上进行的实验表明，所提出的 DDPM-CD 方法在 F1 分数、IoU 和总体精度方面显著优于现有的最先进变化检测方法，突出了预训练 DDPM 作为下游应用特征提取器的关键作用。我们已在 https://github.com/wgcban/ddpm-cd 上公开了代码和预训练模型。
引用
@article{arxiv.2206.11892,
title = {DDPM-CD: Denoising Diffusion Probabilistic Models as Feature Extractors for Change Detection},
author = {Wele Gedara Chaminda Bandara and Nithin Gopalakrishnan Nair and Vishal M. Patel},
journal= {arXiv preprint arXiv:2206.11892},
year = {2024}
}
备注
Code available at: https://github.com/wgcban/ddpm-cd