基于提议-归约范式的视频实例分割
计算机视觉与模式识别
2021-10-01 v2
摘要
视频实例分割（VIS）旨在对视频每帧中预定义类别的所有实例进行分割与关联。先前方法通常先获得单帧或片段的分割，再通过跟踪或匹配合并不完整结果。这些方法可能在合并步骤造成误差累积。相反，我们提出一种新范式——Propose-Reduce，通过单步为输入视频生成完整序列。我们进一步在现有图像级实例分割网络上构建序列传播头以进行长程传播。为确保所提框架的鲁棒性与高召回率，我们提议多个序列，并归约同一实例的冗余序列。我们在两个代表性基准数据集上取得当前最优性能——在 YouTube-VIS 验证集上 AP 达 47.6%，在 DAVIS-UVOS 验证集上 J&F 达 70.4%。代码见 https://github.com/dvlab-research/ProposeReduce。
引用
@article{arxiv.2103.13746,
title = {Video Instance Segmentation with a Propose-Reduce Paradigm},
author = {Huaijia Lin and Ruizheng Wu and Shu Liu and Jiangbo Lu and Jiaya Jia},
journal= {arXiv preprint arXiv:2103.13746},
year = {2021}
}
备注
ICCV 2021