用于变化分割与分类的弱监督卷积网络
计算机视觉与模式识别
2020-11-10 v1 机器学习
摘要
全监督变化检测方法需要难以获取的像素级标签，而弱监督方法可利用图像级标签进行训练。然而，此类方法大多需要变化与未变化图像对组合用于训练，因而无法直接用于仅提供变化图像对的数据集。我们提出W-CDNet，一种可利用图像级语义标签训练的弱监督变化检测新网络。此外，W-CDNet可使用两类不同数据集训练：仅含变化图像对的数据集，或变化与未变化图像对混合的数据集。由于训练采用图像级语义标签，我们同时为单标签图像生成变化掩码并标注变化对象。W-CDNet采用W形连体U-net从图像对中提取特征图，进而比较以生成原始变化掩码。我们模型的核心部分——变化分割与分类（CSC）模块——利用自定义重映射块在隐藏层学习精确变化掩码，再用该掩码分割当前输入图像。分割图像用于预测图像级语义标签。仅当变化掩码确实标记出相关变化时，才能预测正确标签，这迫使模型学习精确的变化掩码。我们展示了方法的分割与分类性能，并在AICD、HRSCD两个公开航拍变化检测数据集及一个食物浪费变化检测数据集上取得顶尖结果。代码见 https://github.com/PhiAbs/W-CDNet 。
引用
@article{arxiv.2011.03577,
title = {A Weakly Supervised Convolutional Network for Change Segmentation and Classification},
author = {Philipp Andermatt and Radu Timofte},
journal= {arXiv preprint arXiv:2011.03577},
year = {2020}
}
备注
17 pages, 5 figures. Accepted at the Machine Learning and Computing for Visual Semantic Analysis (MLCSA2020) Workshop which is held in conjunction with ACCV 2020