MSN：面向视频实例分割的高效在线掩码选择网络
计算机视觉与模式识别
2021-06-22 v1 机器学习
摘要
在本工作中，我们提出了一种用于视频实例分割（VIS）的新方案，即自动生成实例级分割掩码并给出目标类别，同时在视频中对其进行跟踪。我们的方法利用掩码选择网络（MSN）以在线方式改进来自分割分支与传播分支的掩码，从而限制掩码跟踪过程中的噪声累积。我们提出一种基于块卷积神经网络的有效 MSN 设计。该网络能够区分掩码之间极为细微的差异，并准确地从关联掩码中选出更优者。此外，我们利用时间一致性，并以正向与反向两种方式处理视频序列作为后处理步骤，以恢复丢失的目标。所提方法可用于将任意视频目标分割方法适配于 VIS 任务。我们的方法在 2021 YouTube-VIS 挑战赛上取得 49.1 mAP 的成绩，并在 30 余支全球队伍中排名第三。我们的代码将发布于 https://github.com/SHI-Labs/Mask-Selection-Networks。
引用
@article{arxiv.2106.10452,
title = {MSN: Efficient Online Mask Selection Network for Video Instance Segmentation},
author = {Vidit Goel and Jiachen Li and Shubhika Garg and Harsh Maheshwari and Humphrey Shi},
journal= {arXiv preprint arXiv:2106.10452},
year = {2021}
}
备注
3rd Place Solution to the YouTube-VIS Challenge at CVPR 2021