中文

CVPR 2024 PVUW 工作坊 MOSE 轨道的 2nd 名解答:复杂视频对象分割

计算机视觉与模式识别 2024-06-13 v1

摘要

复杂视频对象分割是广泛应用于视频编辑和自动数据标注等众多下游任务的基础性任务。本文介绍了 PVUW 2024 MOSE 轨道的 2nd 名解答。为缓解因小目标、相似目标和快速运动引起的问题,我们使用实例分割从 MOSE 的有效集和测试集中生成额外的预训练数据。将分割的实例与来自 COCO 的对象合并以增强训练数据的语义表示。此外,在训练期间添加运动模糊以提高对因运动引起的图像模糊的鲁棒性。最后,我们在推理阶段应用测试时增强(TTA)和记忆策略。我们的方法在 PVUW 2024 MOSE 轨道中获得了第 2 名,J\mathcal{J} 为 0.8007,F\mathcal{F} 为 0.8683,J&F\mathcal{J}\&\mathcal{F} 为 0.8345。

关键词

引用

@article{arxiv.2406.08192,
  title  = {2nd Place Solution for MOSE Track in CVPR 2024 PVUW workshop: Complex Video Object Segmentation},
  author = {Zhensong Xu and Jiangtao Yao and Chengjing Wu and Ting Liu and Luoqi Liu},
  journal= {arXiv preprint arXiv:2406.08192},
  year   = {2024}
}

备注

5pages, 4 figures, technique report for MOSE Track in CVPR 2024 PVUW workshop: Complex Video Object Segmentation