基于注意力图神经网络的零样本视频对象分割
计算机视觉与模式识别
2020-01-22 v1
摘要
本文提出一种新颖的注意力图神经网络（AGNN）用于零样本视频对象分割（ZVOS）。所提 AGNN 将该任务重新表述为视频图上的迭代信息融合过程。具体而言，AGNN 构建全连接图，将帧高效表示为节点，任意帧对之间的关系表示为边。底层成对关系由可微注意力机制描述。通过参数化消息传递，AGNN 能够高效捕获并挖掘视频帧之间更丰富、更高阶的关系，从而实现对视频内容更完整的理解与更准确的前景估计。在三个视频分割数据集上的实验结果表明，AGNN 在每种情况下均刷新了最优性能（state-of-the-art）。为进一步证明框架的泛化能力，我们将 AGNN 扩展至另一任务：图像对象协同分割（IOCS）。我们在两个著名 IOCS 数据集上实验，再次观察到 AGNN 模型的优越性。大量实验验证了 AGNN 能够学习视频帧或相关图像之间的底层语义/外观关系，并发现公共对象。
引用
@article{arxiv.2001.06807,
title = {Zero-Shot Video Object Segmentation via Attentive Graph Neural Networks},
author = {Wenguan Wang and Xiankai Lu and Jianbing Shen and David Crandall and Ling Shao},
journal= {arXiv preprint arXiv:2001.06807},
year = {2020}
}
备注
ICCV2019(Oral). Website: https://github.com/carrierlxk/AGNN