LIP: 用于视频对象分割的实例传播学习

Ye Lyu; George Vosselman; Gui-Song Xia; Michael Ying Yang

LIP: 用于视频对象分割的实例传播学习

计算机视觉与模式识别 2019-10-02 v1

作者: Ye Lyu , George Vosselman , Gui-Song Xia , Michael Ying Yang

摘要

近年来,从视频中将前景对象从背景中分割出来的任务,即视频对象分割(VOS),受到了相当多的关注。在本文中,我们提出了一个单一端到端可训练的深度神经网络,卷积门控循环 Mask-RCNN,以解决半监督 VOS 任务。我们利用实例分割网络(Mask-RCNN)和视觉记忆模块(Conv-GRU)两者的优势来处理 VOS 任务。实例分割网络预测实例的掩码,而视觉记忆模块学习同时选择性地为多个实例传播信息,从而处理外观变化、尺度和姿态变化以及对象间的遮挡。在纯实例分割损失下进行离线和在线训练后,我们的方法能够在不使用任何后处理或合成视频数据增强的情况下取得令人满意的结果。在 DAVIS 2016 数据集和 DAVIS 2017 数据集上的实验结果证明了我们的方法对视频对象分割任务的有效性。

关键词

视频对象分割实例分割 Mask-RCNN Conv-GRU 视觉记忆半监督学习

引用

@article{arxiv.1910.00032,
  title  = {LIP: Learning Instance Propagation for Video Object Segmentation},
  author = {Ye Lyu and George Vosselman and Gui-Song Xia and Michael Ying Yang},
  journal= {arXiv preprint arXiv:1910.00032},
  year   = {2019}
}

备注

ICCVW19

LIP: 用于视频对象分割的实例传播学习

摘要

关键词

引用

备注

相关论文