基于知识图推理的弱监督语义分割
光学
2023-09-26 v1 应用物理
摘要
目前，基于卷积神经网络（CNN）的弱监督语义分割（WSSS）现有研究主要集中于增强多标签分类网络阶段，对同样重要的下游分割网络关注有限。此外，基于 CNN 的局部卷积缺乏建模广泛类别间依赖关系的能力。因此，本文引入一种基于图推理的方法以增强 WSSS。目标是通过同时增强多标签分类和分割网络阶段，整体提升 WSSS。在多标签分类网络部分，整合外部知识并结合 GCNs 以全局推理类间依赖。这鼓励网络在图像的非显著区域中发现特征，从而细化生成伪标签的完整性。在分割网络部分，所提出的图推理映射（GRM）模块被用于利用从文本数据库获得的知识，促进图像区域内类别表示的上下文推理。该 GRM 模块增强了分割网络局部卷积高层语义中的特征表示，同时动态学习单个样本的语义一致性。仅使用图像级监督，我们在 PASCAL VOC 2012 和 MS-COCO 数据集上取得了 WSSS 的当前最优性能。在多标签分类和分割网络阶段的大量实验凸显了所提图推理方法对推进 WSSS 的有效性。
引用
@article{arxiv.2309.14056,
title = {Unveiling the dynamical diversity of quantum dot lasers subject to optoelectronic feedback},
author = {Shihao Ding and Shiyuan Zhao and Justin Norman and Bozhang Dong and Heming Huang and John Bowers and Frédéric Grillot},
journal= {arXiv preprint arXiv:2309.14056},
year = {2023}
}