PVUW 2023 挑战赛视频全景分割第 3 名方案
计算机视觉与模式识别
2023-06-13 v1
摘要
为处理真实场景下的视频全景分割任务,我们提出了一种鲁棒的综合视频全景分割方案。在我们的方案中,将视频全景分割任务视为分割目标查询任务,将语义与实例目标均表示为一组查询,再将这些查询与神经网络提取的视频特征结合以预测分割掩码。为提高方案的学习精度与收敛速度,我们增加视频语义分割与视频实例分割的辅助任务进行联合训练。此外,我们还增加了一个额外的图像语义分割模型以进一步提升语义类别的性能。另外,我们也加入了一些额外操作以增强模型的鲁棒性。在 VIPSeg 数据集上的大量实验表明,所提方案取得最先进性能,在 VIPSeg 测试集上达到 50.04\% VPQ,位居 PVUW 2023 挑战赛视频全景分割赛道第 3 名。
引用
@article{arxiv.2306.06753,
title = {3rd Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation},
author = {Jinming Su and Wangwang Yang and Junfeng Luo and Xiaolin Wei},
journal= {arXiv preprint arXiv:2306.06753},
year = {2023}
}
备注
3rd Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation