面向全景分割的双向图推理网络
计算机视觉与模式识别
2020-04-15 v1 机器学习
图像与视频处理
摘要
近期关于全景分割的研究借助单一端到端网络来结合实例分割与语义分割任务。然而，先前的模型仅通过多分支方案在架构层面统一了这两个相关任务，或通过单向特征融合揭示它们之间的潜在关联，忽视了物体与背景之间显式的语义与共生关系。鉴于上下文信息对识别和定位物体至关重要，而包含的物体细节对解析背景场景意义重大，我们因而研究在全景分割任务中显式建模物体与背景之间的关联，以实现对图像的整体理解。我们提出双向图推理网络（BGRNet），其将图结构引入常规全景分割网络，以挖掘前景事物（things）与背景素材（stuff）类别内部及之间的模块内与模块间关系。具体而言，BGRNet 首先在实例分割与语义分割分支中分别构建图像特定的图，从而分别在提议级别和类别级别实现灵活推理。为建立独立分支间的关联并充分利用事物与素材间的互补关系，我们提出双向图连接模块，以可学习的方式跨分支扩散信息。实验结果表明，我们的 BGRNet 具有优越性，在具有挑战性的 COCO 和 ADE20K 全景分割基准上取得了新的最先进（SOTA）性能。
引用
@article{arxiv.2004.06272,
title = {Bidirectional Graph Reasoning Network for Panoptic Segmentation},
author = {Yangxin Wu and Gengwei Zhang and Yiming Gao and Xiajun Deng and Ke Gong and Xiaodan Liang and Liang Lin},
journal= {arXiv preprint arXiv:2004.06272},
year = {2020}
}
备注
CVPR2020