使用全局与局部传递模块的交互式视频对象分割
计算机视觉与模式识别
2020-07-17 v1
摘要
本文提出了一种以查询对象上的涂鸦标注为输入的交互式视频对象分割算法。我们开发了一个由标注网络（A-Net）和传递网络（T-Net）组成的深度神经网络。首先，给定某一帧上的用户涂鸦，A-Net基于编码器-解码器架构产生分割结果。其次，T-Net通过采用全局和局部传递模块将分割结果双向传递到其他帧。全局传递模块将标注帧中的分割信息传送到目标帧，而局部传递模块将时间相邻帧中的分割信息传播到目标帧。通过交替应用A-Net和T-Net，用户可以以最小代价获得期望的分割结果。我们通过模拟用户涂鸦并采用辅助损失分两阶段训练整个网络。实验结果表明，所提出的交互式视频对象分割算法优于最先进的传统算法。代码和模型可在 https://github.com/yuk6heo/IVOS-ATNet 获取。
引用
@article{arxiv.2007.08139,
title = {Interactive Video Object Segmentation Using Global and Local Transfer Modules},
author = {Yuk Heo and Yeong Jun Koh and Chang-Su Kim},
journal= {arXiv preprint arXiv:2007.08139},
year = {2020}
}