用于零样本视频目标分割的层次图模式理解
计算机视觉与模式识别
2023-12-18 v1
摘要
光流引导策略是获取视频中物体运动信息的理想方法，被广泛应用于视频分割任务。然而，现有的基于光流的方法对光流具有显著依赖性，导致在特定场景下光流估计失败时性能不佳。光流提供的时序一致性可以通过以结构形式建模得到有效补充。本文提出了一种新的层次图神经网络架构，称为层次图模式理解，用于零样本视频目标分割。受 GNN 在捕捉结构关系方面强大能力的启发，HGPU 创新性地利用运动线索（即光流）来增强来自目标帧邻居的高阶表示。具体而言，引入了带有消息聚合的层次图模式编码器，以顺序方式获取不同层级的运动与外观特征。此外，设计了一个解码器用于层次化解析与理解变换后的多模态上下文，以实现更准确和鲁棒的结果。HGPU 在四个公开基准（DAVIS-16、YouTube-Objects、Long-Videos 和 DAVIS-17）上取得了最先进的性能。代码与预训练模型可在 \url{https://github.com/NUST-Machine-Intelligence-Laboratory/HGPU} 找到。
引用
@article{arxiv.2312.09525,
title = {Hierarchical Graph Pattern Understanding for Zero-Shot VOS},
author = {Gensheng Pei and Fumin Shen and Yazhou Yao and Tao Chen and Xian-Sheng Hua and Heng-Tao Shen},
journal= {arXiv preprint arXiv:2312.09525},
year = {2023}
}
备注
accepted by IEEE Transactions on Image Processing