基于时空记忆网络的视频目标分割
计算机视觉与模式识别
2019-08-13 v2
摘要
我们提出了一种用于半监督视频目标分割的新方案。由于该问题的性质，可用的线索（例如带目标掩码的 video 帧）随着中间预测而变得更加丰富。然而，现有方法无法充分利用这一丰富的信息源。我们通过利用记忆网络并学习从所有可用源中读取相关信息来解决该问题。在我们的框架中，带有目标掩码的过去帧构成外部记忆，当前帧作为查询利用记忆中的掩码信息进行分割。具体而言，查询与记忆在特征空间中被密集匹配，以前馈方式覆盖所有时空像素位置。与先前方法相比，对引导信息的充分利用使我们能更好地应对外观变化和遮挡等挑战。我们在最新基准集上验证了方法，并取得了最先进的性能（Youtube-VOS val 集上总体分数 79.4，DAVIS 2016/2017 val 集上 J 分别为 88.7 和 79.2），同时具有较快的运行时间（DAVIS 2016 val 集上 0.16 秒/帧）。
引用
@article{arxiv.1904.00607,
title = {Video Object Segmentation using Space-Time Memory Networks},
author = {Seoung Wug Oh and Joon-Young Lee and Ning Xu and Seon Joo Kim},
journal= {arXiv preprint arXiv:1904.00607},
year = {2019}
}
备注
ICCV 2019