YouTubeVOS Challenge 2021 视频实例分割冠军方案
计算机视觉与模式识别
2021-07-12 v2
摘要
视频实例分割（VIS）是一个同时执行检测、分割和跟踪的多任务问题。从图像集合应用扩展而来，视频数据额外引入了时间信息，若处理得当，对识别和预测物体运动非常有用。在这项工作中，我们设计了一个统一模型来相互学习这些任务。具体而言，我们提出了两个模块，名为时间相关实例分割（TCIS）和双向跟踪（BiTrack），以利用物体实例掩码在相邻帧之间的时间相关性。另一方面，由于帧的重叠，视频数据常常是冗余的。我们的分析表明，这个问题在 YoutubeVOS-VIS2021 数据上尤为严重。因此，我们提出了多源数据（MSD）训练机制来弥补数据不足。通过将这些技术与一系列技巧结合，网络性能相比基线显著提升，并在 YoutubeVOS-VIS 2019 和 2021 数据集上以可观的优势优于其他方法。
引用
@article{arxiv.2106.06649,
title = {1st Place Solution for YouTubeVOS Challenge 2021:Video Instance Segmentation},
author = {Thuy C. Nguyen and Tuan N. Tang and Nam LH. Phan and Chuong H. Nguyen and Masayuki Yamazaki and Masao Yamanaka},
journal= {arXiv preprint arXiv:2106.06649},
year = {2021}
}
备注
Accepted to CPVR 2021 Workshop