基于点监督的全卷积全景分割网络
计算机视觉与模式识别
2022-10-14 v3
摘要
本文提出了一个概念简单、性能强大且高效的全监督和弱监督全景分割框架，称为 Panoptic FCN。我们的方法旨在以统一的全卷积流程来表示并预测前景事物（things）与背景物质（stuff），并可使用基于点的全监督或弱监督进行优化。具体而言，Panoptic FCN 通过所提出的内核生成器对每个对象实例或物质类别进行编码，并直接对高分辨率特征进行卷积以产生预测。借助该方法，事物与物质分别所需的实例感知与语义一致属性可在简单的“生成内核再分割”工作流中得以满足。无需额外的边界框用于定位或实例分离，所提方法以高效率优于先前基于框与无框的模型。此外，我们提出了一种用于弱监督全景分割的基于点的新型标注形式。它仅需对事物与物质分别标注若干随机点，大幅降低了人工标注成本。所提出的 Panoptic FCN 在该弱监督设定下亦被证明具有远优的性能，仅用每实例 20 个随机标注点即达到全监督性能的 82%。大量实验证明了 Panoptic FCN 在 COCO、VOC 2012、Cityscapes 与 Mapillary Vistas 数据集上的有效性与高效性，并为全监督与弱监督全景分割树立了新的领先基准。我们的代码与模型已公开于 https://github.com/dvlab-research/PanopticFCN。
引用
@article{arxiv.2108.07682,
title = {Fully Convolutional Networks for Panoptic Segmentation with Point-based Supervision},
author = {Yanwei Li and Hengshuang Zhao and Xiaojuan Qi and Yukang Chen and Lu Qi and Liwei Wang and Zeming Li and Jian Sun and Jiaya Jia},
journal= {arXiv preprint arXiv:2108.07682},
year = {2022}
}
备注
Accepted to TPAMI. arXiv admin note: substantial text overlap with arXiv:2012.00720