耦合全局上下文与局部内容用于弱监督语义分割
计算机视觉与模式识别
2023-04-27 v2
摘要
得益于友好标注与令人满意的性能，弱监督语义分割（WSSS）方法已被广泛研究。近来，单阶段 WSSS 被重新唤起，以缓解多阶段 WSSS 中高昂计算成本与复杂训练流程的问题。然而，此类不成熟模型的结果存在背景不完整与对象不完整的问题。我们通过经验发现，它们分别由全局对象上下文不足与局部区域内容缺失所致。基于这些观察，我们提出一种仅使用图像级类别标签监督的单阶段 WSSS 模型，称为弱监督特征耦合网络（WS-FCN），其可捕获由相邻特征网格形成的多尺度上下文，并将来自低层特征的细粒度空间信息编码至高层特征中。具体而言，提出一个灵活上下文聚合模块以在不同粒度空间中捕获全局对象上下文。此外，以自底向上可学习参数方式提出一个语义一致特征融合模块以聚合细粒度局部内容。基于这两个模块，WS-FCN 以自监督端到端训练方式运作。在具有挑战性的 PASCAL VOC 2012 与 MS COCO 2014 上的大量实验结果证明了 WS-FCN 的有效性与高效性，其分别在 PASCAL VOC 2012 val 集与 test 集上以 65.02% 与 64.22% mIoU、在 MS COCO 2014 val 集上以 34.12% mIoU 取得最先进结果。代码与权重已发布于：https://github.com/ChunyanWang1/ws-fcn。
引用
@article{arxiv.2304.09059,
title = {Coupling Global Context and Local Contents for Weakly-Supervised Semantic Segmentation},
author = {Chunyan Wang and Dong Zhang and Liyan Zhang and Jinhui Tang},
journal= {arXiv preprint arXiv:2304.09059},
year = {2023}
}
备注
accepted by TNNLS