CoBra：融合类别与语义知识的互补分支用于鲁棒的弱监督语义分割
计算机视觉与模式识别
2024-05-28 v6
摘要
利用从图像级类别知识导出的语义精确的伪掩码进行分割，即图像级弱监督语义分割（WSSS），仍然具有挑战性。虽然基于 CNN 的类激活图（CAM）持续推动着 WSSS 的成功，但生成的激活图通常仅狭窄地聚焦于特定类别的部分（例如，仅人脸）。另一方面，近期基于视觉 Transformer（ViT）的工作凭借其自注意力机制在捕获语义部分方面展现出可喜的结果，但未能捕获完整的特定类别细节（例如，整个人体但也包括附近的狗）。在本工作中，我们提出了互补分支（CoBra），一种新颖的双分支框架，由两种不同的架构组成，为每个分支提供有价值的类别（来自 CNN）和语义（来自 ViT）互补知识。特别地，我们为 CNN 分支学习类感知投影（CAP），为 ViT 分支学习语义感知投影（SAP），以显式融合它们的互补知识并促进一种新型的额外 patch 级监督。我们的模型通过 CoBra 融合 CNN 和 ViT 的互补输出，以创建有效整合类别和语义信息的鲁棒伪掩码。大量实验在 PASCAL VOC 2012 数据集上定性和定量地研究了 CNN 和 ViT 如何互补，展示了 SOTA 的 WSSS 结果。这不仅包括我们模型生成的掩码，还包括利用这些掩码作为伪标签导出的分割结果。
引用
@article{arxiv.2403.08801,
title = {CoBra: Complementary Branch Fusing Class and Semantic Knowledge for Robust Weakly Supervised Semantic Segmentation},
author = {Woojung Han and Seil Kang and Kyobin Choo and Seong Jae Hwang},
journal= {arXiv preprint arXiv:2403.08801},
year = {2024}
}