LSMVOS：用于视频对象分割的长短期相似度匹配
计算机视觉与模式识别
2020-09-03 v1
摘要
目的：半监督视频对象分割是指在给定第一帧中对象标签的情况下分割后续帧中的对象。现有算法大多基于匹配和传播策略的目标，常利用带掩码或光流的前一帧。本文探索了一种新的传播方法，使用短期匹配模块提取前一帧的信息并应用于传播，提出了用于视频对象分割的长短期相似度匹配网络（LSMVOS）。方法：通过对长期匹配模块与短期匹配模块同第一帧和前一帧进行像素级匹配与关联，获得全局相似度图与局部相似度图，以及当前帧的特征模式和前一帧的掩码。经过两个细化网络后，通过分割网络得到最终结果。结果：根据在DAVIS 2016和2017两个数据集上的实验，本文方法在未进行在线微调的情况下取得了良好的区域相似度和轮廓精度平均值，在单目标和多目标上分别达到86.5%和77.4%。此外，每秒分割帧数达到21。结论：本文提出的短期匹配模块比仅使用掩码更有利于提取前一帧的信息。通过将长期匹配模块与短期匹配模块结合，整个网络可在无在线微调的情况下实现高效的视频对象分割。
引用
@article{arxiv.2009.00771,
title = {LSMVOS: Long-Short-Term Similarity Matching for Video Object},
author = {Zhang Xuerui and Yuan Xia},
journal= {arXiv preprint arXiv:2009.00771},
year = {2020}
}