半监督视频目标分割中使用复用门函数学习动态网络
计算机视觉与模式识别
2021-05-18 v3
摘要
当前半监督视频目标分割（Semi-VOS）的最优方法将前一帧的信息传播以生成当前帧的分割掩码。这在外观变化和遮挡等挑战性场景中实现了高质量分割，但也导致对静止或缓慢运动物体产生不必要的计算，因为这类帧间变化极小。本文利用这一观察，通过时间信息快速识别变化极小的帧，并跳过繁重的掩码生成步骤。为实现该效率，我们提出了一种新颖的动态网络，其估计帧间变化并根据预期相似度决定选择哪条路径——计算完整网络或复用前一帧特征。实验结果表明，我们的方法在具有挑战性的 Semi-VOS 数据集 DAVIS 16、DAVIS 17 和 YouTube-VOS 上显著提升了推理速度且精度下降甚微。此外，我们的方法可应用于多种 Semi-VOS 方法，证明了其通用性。代码见 https://github.com/HYOJINPARK/Reuse_VOS。
引用
@article{arxiv.2012.11655,
title = {Learning Dynamic Network Using a Reuse Gate Function in Semi-supervised Video Object Segmentation},
author = {Hyojin Park and Jayeon Yoo and Seohyeong Jeong and Ganesh Venkatesh and Nojun Kwak},
journal= {arXiv preprint arXiv:2012.11655},
year = {2021}
}
备注
CVPR2021, code: https://github.com/HYOJINPARK/Reuse_VOS