用于视频目标分割的核化记忆网络
计算机视觉与模式识别
2020-07-17 v1
摘要
半监督视频目标分割(VOS)是一项在视频首帧给定目标对象的真实分割掩码时,预测视频中该目标对象的任务。近来,时空记忆网络(STM)作为半监督 VOS 的一种有前景的方案受到显著关注。然而,将 STM 应用于 VOS 时一个要点被忽视:该方案(STM)是非局部的,而该问题(VOS)主要是局部的。为解决 STM 与 VOS 之间的失配,我们提出核化记忆网络(KMN)。如同先前工作,我们的 KMN 在真实视频上训练前先在静态图像上预训练。与先前工作不同,我们在预训练中使用 Hide-and-Seek 策略,以在处理遮挡与分割边界提取时获得尽可能最佳的结果。所提 KMN 在标准基准上以显著优势超越 SOTA(在 DAVIS 2017 test-dev 集上 +5%)。此外,KMN 在 DAVIS 2016 验证集上的运行时间为每帧 0.12 秒,且与 STM 相比 KMN 几乎不需要额外计算。
引用
@article{arxiv.2007.08270,
title = {Kernelized Memory Network for Video Object Segmentation},
author = {Hongje Seong and Junhyuk Hyun and Euntai Kim},
journal= {arXiv preprint arXiv:2007.08270},
year = {2020}
}
备注
Accepted to ECCV 2020