Video-kMaX:一种用于在线与近在线视频全景分割的简单统一方法
计算机视觉与模式识别
2023-04-11 v1
摘要
视频全景分割(VPS)旨在通过对视频中所有像素进行分割并关联物体来实现全面的像素级场景理解。当前的解决方案可分为在线和近在线方法。随着时间演进,每一类都有其专门的设计,使得在不同类别间适配模型并非易事。为缓解这一差异,本文提出一种用于在线与近在线 VPS 的统一方法。所提出的 Video-kMaX 的元架构由两个组件组成:片段内分割器(用于片段级分割)和跨片段关联器(用于片段之外的关联)。我们提出 clip-kMaX(clip k-means mask transformer,片段 k 均值掩码变换器)和 HiLA-MB(分层位置感知记忆缓冲,Hierarchical Location-Aware Memory Buffer)来分别实例化分割器和关联器。我们的通用公式通过将片段长度取为 1 而将在线场景作为特例包含在内。无需额外技巧,Video-kMaX 在 KITTI-STEP 和 VIPSeg 的视频全景分割以及 VSPW 的视频语义分割上均设立了新的 SOTA。代码将公开可用。
引用
@article{arxiv.2304.04694,
title = {Video-kMaX: A Simple Unified Approach for Online and Near-Online Video Panoptic Segmentation},
author = {Inkyu Shin and Dahun Kim and Qihang Yu and Jun Xie and Hong-Seok Kim and Bradley Green and In So Kweon and Kuk-Jin Yoon and Liang-Chieh Chen},
journal= {arXiv preprint arXiv:2304.04694},
year = {2023}
}