PMVOS：基于像素级匹配的视频目标分割
计算机视觉与模式识别
2020-09-21 v1
摘要
半监督视频目标分割（VOS）旨在给定初始帧的真实分割掩码时，分割视频中任意目标对象。由于利用目标对象先验知识的这一限制，特征匹配（将代表目标对象的模板特征与输入特征进行比较）是关键步骤。近来，像素级匹配（PM）因高性能而被广泛用于特征匹配，其匹配模板特征与输入特征中的每个像素。然而，尽管有效，用于构建模板特征的信息仅限于初始帧和前一帧。我们提出一种新方法——基于PM的视频目标分割（PMVOS）——来解决此问题，该方法构建包含全部过去帧信息的强模板特征。此外，我们将自注意力应用于PM生成的相似度图以捕获全局依赖。在DAVIS 2016验证集上，我们在实时方法（>30 fps）中取得新的最优性能，J&F得分为85.6%。在DAVIS 2017和YouTube-VOS验证集上的性能同样出色，J&F得分分别为74.0%和68.2%。
引用
@article{arxiv.2009.08855,
title = {PMVOS: Pixel-Level Matching-Based Video Object Segmentation},
author = {Suhwan Cho and Heansung Lee and Sungmin Woo and Sungjun Jang and Sangyoun Lee},
journal= {arXiv preprint arXiv:2009.08855},
year = {2020}
}
备注
Code: https://github.com/suhwan-cho/PMVOS