多粒度视频对象分割
计算机视觉与模式识别
2024-12-04 v2
摘要
当前视频分割基准仅标注显著目标（即前景实例），尽管已有作品在建模上取得显著进展，但在现实场景中仍难以适应。因此，开发针对视频场景中多粒度分割目标进行跟踪的新型视频分割数据集至关重要。本文旨在生成既标注显著目标又标注非显著目标的多粒度视频分割数据集。为实现此目标，我们提出大规模、密集标注的多粒度视频对象分割（MUG-VOS）数据集，包含多种类型和粒度的掩码标注。我们自动收集训练集以辅助跟踪显著与非显著目标，同时精心挑选人工标注测试集以保证可靠评估。此外，我们提出记忆基于掩码传递模型（MMPM），在MUG-VOS数据集上训练和评估，实现了对现有视频对象分割方法和基于Segment SAM的视频分割方法的最佳性能。项目页面地址为 https://cvlab-kaist.github.io/MUG-VOS。
关键词
引用
@article{arxiv.2412.01471,
title = {Multi-Granularity Video Object Segmentation},
author = {Sangbeom Lim and Seongchan Kim and Seungjun An and Seokju Cho and Paul Hongsuck Seo and Seungryong Kim},
journal= {arXiv preprint arXiv:2412.01471},
year = {2024}
}
备注
Project Page: https://cvlab-kaist.github.io/MUG-VOS