面向视频目标分割的快速像素匹配方法
计算机视觉与模式识别
2021-07-12 v1
摘要
视频目标分割旨在给定第一帧标注的情况下分割前景目标,已引起越来越多的关注。许多最先进的方法通过在线模型更新或掩码传播技术取得了优异性能。然而,大多数在线模型由于推理期间的模型微调而需要较高的计算成本。大多数基于掩码传播的模型速度较快,但因未能适应目标外观变化而性能相对较低。本文旨在设计一种在速度与性能之间取得良好平衡的新模型。我们提出一种称为NPMCA-net的模型,其基于掩码传播与非局部技术,通过匹配参考帧与目标帧中的像素来直接定位前景目标。由于我们引入了第一帧与前一帧的信息,我们的网络对大幅目标外观变化具有鲁棒性,并能更好地适应遮挡。大量实验表明,在相同水平比较下,我们的方法可同时以快速速度取得新的最先进性能(在DAVIS-2016上IoU为86.5%,在DAVIS-2017上IoU为72.2%,速度每帧0.11秒)。源代码见https://github.com/siyueyu/NPMCA-net。
引用
@article{arxiv.2107.04279,
title = {Fast Pixel-Matching for Video Object Segmentation},
author = {Siyue Yu and Jimin Xiao and BingFeng Zhang and Eng Gee Lim},
journal= {arXiv preprint arXiv:2107.04279},
year = {2021}
}
备注
Accepted by Signal Processing: Image Communication