STC：面向视频实例分割的时空对比学习
计算机视觉与模式识别
2022-08-23 v2
摘要
视频实例分割（VIS）是一项在视频中同时要求分类、分割与实例关联的任务。近期的 VIS 方法依赖复杂的流水线来实现这一目标，包括 RoI 相关操作或 3D 卷积。相比之下，我们基于实例分割方法 CondInst 并通过添加一个额外的跟踪头，提出了一种简单高效的单阶段 VIS 框架。为提高实例关联精度，提出了一种新颖的跨帧跟踪嵌入双向时空对比学习策略。此外，采用实例级时间一致性方案以产生时间上连贯的结果。在 YouTube-VIS-2019、YouTube-VIS-2021 和 OVIS-2021 数据集上的实验验证了所提方法的有效性与高效性。我们希望所提出的框架能作为许多其他实例级视频关联任务的简单且强大的替代方案。
引用
@article{arxiv.2202.03747,
title = {STC: Spatio-Temporal Contrastive Learning for Video Instance Segmentation},
author = {Zhengkai Jiang and Zhangxuan Gu and Jinlong Peng and Hang Zhou and Liang Liu and Yabiao Wang and Ying Tai and Chengjie Wang and Liqing Zhang},
journal= {arXiv preprint arXiv:2202.03747},
year = {2022}
}