探索弱监督变化检测中的有效先验与高效模型
计算机视觉与模式识别
2024-04-12 v4
摘要
弱监督变化检测（WSCD）旨在仅利用图像级标注来检测像素级变化。由于其标注高效性，WSCD 近来受到越来越多的关注。然而，当前的 WSCD 方法常遇到变化遗漏与虚构的挑战，即图像级标注与像素级预测之间的不一致。具体而言，变化遗漏指 WSCD 模型未能预测出任何变化像素，尽管图像级标签指示有变化，反之亦然即为变化虚构。为应对该挑战，本工作中我们利用 WSCD 中的全局尺度与局部尺度先验，并提出两个组件：一个膨胀先验（DP）解码器与一个标签门控（LG）约束。DP 解码器对带有变化图像级标签的样本进行解码，跳过带有未变化标签的样本，并将其替换为全未变化的像素级标签。LG 约束源于变化表示与图像级标签之间的对应关系，当模型误预测变化状态时对模型进行惩罚。此外，我们开发了 TransWCD，一个简洁而强大的基于 transformer 的模型，展示了弱监督学习在变化检测中的潜力。通过将 DP 解码器与 LG 约束集成到 TransWCD 中，我们构建了 TransWCD-DL。我们提出的 TransWCD 与 TransWCD-DL 在 WHU-CD 数据集上分别比最先进（SOTA）方法实现了显著的 +6.33% 与 +9.55% 的 F1 分数提升。部分性能指标甚至超过了若干全监督变化检测（FSCD）的对比方法。代码将发布于 https://github.com/zhenghuizhao/TransWCD。
引用
@article{arxiv.2307.10853,
title = {Exploring Effective Priors and Efficient Models for Weakly-Supervised Change Detection},
author = {Zhenghui Zhao and Lixiang Ru and Chen Wu},
journal= {arXiv preprint arXiv:2307.10853},
year = {2024}
}