你只需分割一次：面向实时全景分割
计算机视觉与模式识别
2023-03-28 v1
摘要
本文提出 YOSO，一种实时全景分割框架。YOSO 通过全景核与图像特征图之间的动态卷积预测掩码，其中实例与语义分割任务你只需分割一次。为降低计算开销，我们设计了用于特征图提取的特征金字塔聚合器，以及用于全景核生成的可分离动态解码器。该聚合器以卷积优先方式重新参数化插值优先模块，在不增加任何额外成本的情况下显著加速流程。解码器通过可分离动态卷积执行多头交叉注意力，以获得更好的效率与精度。据我们所知，YOSO 是首个与最先进模型相比具有竞争力的实时全景分割框架。具体而言，YOSO 在 COCO 上达到 46.4 PQ、45.6 FPS；在 Cityscapes 上达到 52.5 PQ、22.6 FPS；在 ADE20K 上达到 38.0 PQ、35.4 FPS；在 Mapillary Vistas 上达到 34.1 PQ、7.1 FPS。代码见 https://github.com/hujiecpp/YOSO。
引用
@article{arxiv.2303.14651,
title = {You Only Segment Once: Towards Real-Time Panoptic Segmentation},
author = {Jie Hu and Linyan Huang and Tianhe Ren and Shengchuan Zhang and Rongrong Ji and Liujuan Cao},
journal= {arXiv preprint arXiv:2303.14651},
year = {2023}
}
备注
CVPR 2023