VideoCutLER：一种出奇简单的无监督视频实例分割方法
计算机视觉与模式识别
2023-08-29 v1 人工智能
机器学习
摘要
现有的无监督视频实例分割方法通常依赖运动估计，并且在跟踪微小或发散运动时存在困难。我们提出 VideoCutLER，一种不使用基于运动的学习信号（如光流）或自然视频训练的简单无监督多实例视频分割方法。我们的核心见解是，使用高质量的伪掩码和简单的视频合成方法进行模型训练，就足以让所得视频模型有效分割并跟踪视频帧中的多个实例。我们在具有挑战性的 YouTubeVIS-2019 基准上展示了首个具有竞争力的无监督学习结果，取得了 50.7% 的 APvideo^50，大幅超越先前的最先进水平。VideoCutLER 也可作为有监督视频实例分割任务的强预训练模型，在 YouTubeVIS-2019 上以 APvideo 衡量超越 DINO 15.9%。
引用
@article{arxiv.2308.14710,
title = {VideoCutLER: Surprisingly Simple Unsupervised Video Instance Segmentation},
author = {Xudong Wang and Ishan Misra and Ziyun Zeng and Rohit Girdhar and Trevor Darrell},
journal= {arXiv preprint arXiv:2308.14710},
year = {2023}
}
备注
Preprint. Code: https://github.com/facebookresearch/CutLER