面向快速全景分割的类别与实例感知像素嵌入学习
计算机视觉与模式识别
2021-06-30 v2
摘要
全景分割(PS)是一项复杂的场景理解任务，要求对事物对象(stuff)和物质区域(thing)均提供高质量的分割。以往方法分别使用语义分割和实例分割模块处理这两类，并借助启发式融合或额外模块来解决两种输出之间的冲突。本工作通过一种新颖的PS框架一致地建模这两类，从而简化了PS的流程；该框架在检测模型上扩展了一个额外模块以预测类别与实例感知像素嵌入(CIAE)。CIAE是一种新颖的逐像素嵌入特征，编码了语义分类与实例区分信息。在推理过程中，PS结果通过根据学习到的嵌入将每个像素分配给一个检测到的实例或一个物质类别来简单得到。我们的方法不仅展现出快速的推理速度，也是首个在具有挑战性的COCO基准上取得与两阶段方法相当性能的一阶段方法。
引用
@article{arxiv.2009.13342,
title = {Learning Category- and Instance-Aware Pixel Embedding for Fast Panoptic Segmentation},
author = {Naiyu Gao and Yanhu Shan and Xin Zhao and Kaiqi Huang},
journal= {arXiv preprint arXiv:2009.13342},
year = {2021}
}