弱监督语义分割的知识图推理方法
计算机视觉与模式识别
2023-10-25 v2
摘要
目前，基于卷积神经网络（CNN）的弱监督语义分割（WSSS）现有努力主要集中于增强多标签分类网络阶段，对同样重要的下游分割网络关注有限。此外，基于 CNN 的局部卷积缺乏建模广泛类别间依赖的能力。因此，本文引入一种基于图推理的方法以增强 WSSS。目标是通过同时增强多标签分类和分割网络阶段，整体改进 WSSS。在多标签分类网络段，整合外部知识并结合 GCNs 以全局推理类间依赖。这鼓励网络在图像非显著区域发掘特征，从而细化生成伪标签的完整性。在分割网络段，采用所提出的图推理映射（GRM）模块利用从文本数据库获得的知识，促进图像区域内类别表示的上下文推理。该 GRM 模块增强了分割网络局部卷积高层语义中的特征表示，同时动态学习单个样本的语义一致性。仅使用图像级监督，我们在 PASCAL VOC 2012 和 MS-COCO 数据集上实现了 WSSS 的当前最优性能。在多标签分类和分割网络阶段的大量实验强调了所提图推理方法对推进 WSSS 的有效性。
引用
@article{arxiv.2309.14057,
title = {Weakly Supervised Semantic Segmentation by Knowledge Graph Inference},
author = {Jia Zhang and Bo Peng and Xi Wu},
journal= {arXiv preprint arXiv:2309.14057},
year = {2023}
}
备注
Our description in Chapter 3, Section 3.2 of the paper is too repetitive with the paper "Object detection meets knowledge graphs". There is an error in the description of formula (5) in Section 3.3. And a detailed reasoning process is required for formula (5). Therefore, we wish to request a retraction of the paper