通过时间金字塔路由改进视频实例分割
计算机视觉与模式识别
2022-09-26 v2
摘要
视频实例分割(VIS)是一项新颖且固有的多任务问题,旨在检测、分割并跟踪视频序列中的每个实例。现有方法主要基于单帧特征或多帧的单尺度特征,忽略了时间信息或多尺度信息之一。为同时融入时间与尺度信息,我们提出时间金字塔路由(TPR)策略,以条件对齐并对相邻两帧的特征金字塔对进行像素级聚合。具体而言,TPR包含两个新颖组件:动态对齐单元路由(DACR)与跨金字塔路由(CPR),其中DACR用于跨时间维度对齐与门控金字塔特征,而CPR将时间聚合特征跨尺度维度传递。此外,我们的方法是轻量且即插即用的模块,可轻松应用于现有实例分割方法。在YouTube-VIS(2019、2021)与Cityscapes-VPS三个数据集上的大量实验证明了所提方法在多种最优视频实例与全景分割方法上的有效性与高效性。代码将公开于\url{https://github.com/lxtGH/TemporalPyramidRouting}。
引用
@article{arxiv.2107.13155,
title = {Improving Video Instance Segmentation via Temporal Pyramid Routing},
author = {Xiangtai Li and Hao He and Yibo Yang and Henghui Ding and Kuiyuan Yang and Guangliang Cheng and Yunhai Tong and Dacheng Tao},
journal= {arXiv preprint arXiv:2107.13155},
year = {2022}
}
备注
T-PAMI-2022