基于时空图神经网络的掩码重建用于视频目标分割
计算机视觉与模式识别
2020-12-11 v1 人工智能
摘要
本文研究半监督设定下类别无关目标的分隔任务。尽管以往基于检测的方法取得了相对较好的性能，这些方法通过贪心策略提取最佳候选框，可能丢失所选候选之外的局部块细节。在本文中，我们提出一种新颖的时空图神经网络（STG-Net）来为视频目标分割重建更精确的掩码，其利用所有候选框捕捉局部上下文。在空间图中，我们将一帧中的目标候选框视为节点，并以边权策略表示其相关性以进行掩码上下文聚合。为从先前帧捕捉时间信息，我们使用记忆网络通过在时间图中检索历史掩码来精炼当前帧的掩码。局部块细节与时间关系的联合使用使我们能更好地应对目标遮挡与丢失等挑战。无需在线学习与微调，我们的 STG-Net 在四个大型基准（DAVIS、YouTube-VOS、SegTrack-v2 与 YouTube-Objects）上取得了最先进的性能，证明了所提方法的有效性。
引用
@article{arxiv.2012.05499,
title = {Spatiotemporal Graph Neural Network based Mask Reconstruction for Video Object Segmentation},
author = {Daizong Liu and Shuangjie Xu and Xiao-Yang Liu and Zichuan Xu and Wei Wei and Pan Zhou},
journal= {arXiv preprint arXiv:2012.05499},
year = {2020}
}
备注
Accepted by AAAI 2021