中文

PVUW挑战赛2024第二名解决方案:视频全景分割

计算机视觉与模式识别 2024-06-04 v1

摘要

视频全景分割(VPS)是一项具有挑战性的任务,它从图像全景分割扩展而来。VPS旨在同时分类、跟踪和分割视频中的所有对象,包括物体和材质。由于其广泛应用于视频理解、视频编辑和自动驾驶等许多下游任务。为了处理真实场景中的视频全景分割任务,我们提出了一种鲁棒的集成视频全景分割解决方案。我们使用DVIS++框架作为基线来生成初始掩码。然后,我们添加了一个额外的图像语义分割模型,以进一步提高语义类别的性能。最终,我们的方法在开发和测试阶段分别以56.36和57.12的VPQ分数达到了最先进的性能,并最终在CVPR2024的PVUW挑战赛VPS赛道中排名第二。

关键词

引用

@article{arxiv.2406.00500,
  title  = {2nd Place Solution for PVUW Challenge 2024: Video Panoptic Segmentation},
  author = {Biao Wu and Diankai Zhang and Si Gao and Chengjian Zheng and Shaoli Liu and Ning Wang},
  journal= {arXiv preprint arXiv:2406.00500},
  year   = {2024}
}

备注

2nd Place Solution for CVPR 2024 PVUW VPS Track