基于原型记忆网络的无监督视频目标分割
计算机视觉与模式识别
2022-09-09 v1
摘要
无监督视频目标分割旨在不依赖首帧真实掩码的情况下分割视频中的目标对象。这一具有挑战性的任务需要从视频序列中提取最显著共性对象的特征。该困难可通过使用光流等运动信息解决，但仅利用相邻帧间的信息会导致远距离帧间关联性差、性能不佳。为解决此问题，我们提出一种新颖的原型记忆网络架构。所提模型通过从输入RGB图像和光流图中提取基于超像素的组件原型，有效提取RGB与运动信息。此外，模型基于自学习算法对各帧中组件原型的效用进行评分，并自适应地将最有用的原型存入记忆、丢弃过时原型。我们利用记忆库中的原型预测后续查询帧的掩码，从而增强远距离帧间的关联，辅助精准掩码预测。我们的方法在三个数据集上进行了评估，取得了最先进的性能。我们通过多种消融实验证明了所提模型的有效性。
引用
@article{arxiv.2209.03712,
title = {Unsupervised Video Object Segmentation via Prototype Memory Network},
author = {Minhyeok Lee and Suhwan Cho and Seunghoon Lee and Chaewon Park and Sangyoun Lee},
journal= {arXiv preprint arXiv:2209.03712},
year = {2022}
}
备注
Accepted to IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2023