面向端到端弱监督语义分割的自对应蒸馏
计算机视觉与模式识别
2023-02-28 v1
摘要
利用图像级标签高效训练精确的弱监督语义分割(weakly supervised semantic segmentation, WSSS)深度模型具有挑战性且十分重要。近来,端到端 WSSS 方法因其高训练效率成为研究焦点。然而,现有方法存在综合语义信息提取不足的问题,导致伪标签质量低且端到端 WSSS 解次优。为此,我们提出一种简单而新颖的自对应蒸馏(Self Correspondence Distillation, SCD)方法,以在不引入外部监督的情况下精炼伪标签。我们的 SCD 使网络能够利用自身导出的特征对应作为蒸馏目标,从而通过补充语义信息增强网络的特征学习过程。此外,为进一步提升分割精度,我们设计了变化感知精炼模块(Variation-aware Refine Module),通过像素级变化计算增强伪标签的局部一致性。最后,我们通过 SCD 与变化感知精炼模块提出一种高效的基于 Transformer 的端到端框架(TSCD)用于精确的 WSSS 任务。在 PASCAL VOC 2012 与 MS COCO 2014 数据集上的大量实验表明,我们的方法显著优于其他最先进(state-of-the-art)方法。我们的代码见 {https://github.com/Rongtao-Xu/RepresentationLearning/tree/main/SCD-AAAI2023}。
引用
@article{arxiv.2302.13765,
title = {Self Correspondence Distillation for End-to-End Weakly-Supervised Semantic Segmentation},
author = {Rongtao Xu and Changwei Wang and Jiaxi Sun and Shibiao Xu and Weiliang Meng and Xiaopeng Zhang},
journal= {arXiv preprint arXiv:2302.13765},
year = {2023}
}