CVPR 2024 PVUW 工作坊 MeViS Track 第 2 名解答：基于运动表达的视频分割
计算机视觉与模式识别
2024-06-21 v1
摘要
基于自然语言表达式（含运动描述）对视频中的物体进行分割的任务称为运动表达引导视频分割（Motion Expression guided Video Segmentation, MeViS）。与以往的指涉视频对象分割（RVOS）不同，MeViS 任务更关注视频内容中的运动，用于语言引导视频对象分割，要求模型具备更强的时序建模和运动感知能力。本报告基于 RVOS 方法，成功引入来自视频实例分割模型获取的掩码信息作为时序增强的初始信息，并利用 SAM 进行空间细化。最终，我们的方法在验证阶段获得 49.92 的 J&F 分数，在测试阶段获得 54.20 的 J&F 分数，位列 CVPR 2024 PVUW 挑战赛 MeViS Track 第 2 名。
引用
@article{arxiv.2406.13939,
title = {2nd Place Solution for MeViS Track in CVPR 2024 PVUW Workshop: Motion Expression guided Video Segmentation},
author = {Bin Cao and Yisi Zhang and Xuanxu Lin and Xingjian He and Bo Zhao and Jing Liu},
journal= {arXiv preprint arXiv:2406.13939},
year = {2024}
}