InsPro：用于在线视频实例分割的实例查询与提议传播
计算机视觉与模式识别
2023-01-06 v1
摘要
视频实例分割（VIS）旨在对视频中的对象进行分割与跟踪。先前的方法通常先生成帧级或片段级对象实例，然后通过额外的跟踪头或复杂的实例匹配算法进行关联。这种显式实例关联方法增加了系统复杂度，且未能充分利用视频中的时间线索。本文设计了一个简单、快速且高效的基于查询的在线 VIS 框架。依靠实例查询与提议传播机制及若干专门开发的组件，该框架可隐式地完成准确的实例关联。具体而言，我们基于从先前帧传播而来的一组实例查询-提议对生成帧级对象实例。该实例查询-提议对被学习为通过精心设计的策略跨帧绑定于同一特定对象。当使用这样一对来预测当前帧上的对象实例时，不仅所生成的实例自动与其先前帧上的前身关联，而且模型获得了预测同一对象的良好先验。以此方式，我们自然地在分割同时实现隐式实例关联，并优雅地利用视频中的时间线索。为展示我们的方法 InsPro 的有效性，我们在两个流行的 VIS 基准（即 YouTube-VIS 2019 和 YouTube-VIS 2021）上评估它。无需额外修饰，我们基于 ResNet-50 骨干的 InsPro 在这两个基准上分别取得 43.2 AP 和 37.6 AP，优于所有其他在线 VIS 方法。
引用
@article{arxiv.2301.01882,
title = {InsPro: Propagating Instance Query and Proposal for Online Video Instance Segmentation},
author = {Fei He and Haoyang Zhang and Naiyu Gao and Jian Jia and Yanhu Shan and Xin Zhao and Kaiqi Huang},
journal= {arXiv preprint arXiv:2301.01882},
year = {2023}
}
备注
NeurIPS 2022