全景、实例与语义关系：一种增强全景分割的关系上下文编码器
计算机视觉与模式识别
2022-04-13 v1
摘要
本文提出一种新颖框架，用于集成语义与实例上下文以进行全景分割。在现有工作中，通常使用共享骨干网络提取事物（如车辆等可数类）与背景（如道路等不可数类）的特征。然而，这未能捕捉它们之间丰富的关联，而这些关联可用于增强视觉理解与分割性能。为弥补此不足，我们提出一种新颖的全景、实例与语义关系（PISR）模块来利用此类上下文。首先，我们生成全景编码以概括语义类与预测实例的关键特征。随后将全景关系注意力（PRA）模块应用于这些编码及来自骨干的全局特征图。其生成的特征图捕捉了 1) 语义类与实例间的关系，以及 2) 这些全景类别与空间特征间的关系。PISR 还自动学习聚焦于更重要的实例，使其对关系注意力模块中所用实例数量具有鲁棒性。此外，PISR 是一个通用模块，可应用于任何现有全景分割架构。通过在 Cityscapes、COCO 与 ADE20K 等全景分割基准上的广泛评估，我们表明 PISR 相较现有方法取得了显著改进。
引用
@article{arxiv.2204.05370,
title = {Panoptic, Instance and Semantic Relations: A Relational Context Encoder to Enhance Panoptic Segmentation},
author = {Shubhankar Borse and Hyojin Park and Hong Cai and Debasmit Das and Risheek Garrepalli and Fatih Porikli},
journal= {arXiv preprint arXiv:2204.05370},
year = {2022}
}
备注
Accepted to CVPR 2022