用于涂鸦监督视频目标分割的可靠性分层记忆网络
计算机视觉与模式识别
2023-03-28 v1
摘要
本文旨在以涂鸦监督方式解决视频目标分割（VOS）任务，其中VOS模型不仅由稀疏涂鸦标注训练，还以稀疏目标涂鸦初始化进行推理。因此，训练和初始化的标注负担均可大幅减轻。涂鸦监督VOS的难点在于两个方面。一方面，它需要在训练时从稀疏涂鸦标注中学习的强大能力。另一方面，它要求在仅给定稀疏初始目标涂鸦的推理时具备强推理能力。在这项工作中，我们提出了一种可靠性分层记忆网络（RHMNet），以针对记忆可靠性水平的逐步扩展策略预测目标掩码。具体而言，RHMNet首先仅使用高可靠性水平的记忆来定位属于目标的高可靠性区域，该区域与初始目标涂鸦高度相似。然后它将已定位的高可靠性区域扩展到整个目标，条件为该区域本身及所有可靠性水平的记忆。此外，我们提出了一种涂鸦监督学习机制，以促进模型学习预测稠密结果。它挖掘单帧内的像素级关系和序列内的帧级关系，以充分利用序列训练样本中的涂鸦标注。在两个流行基准上的良好性能表明我们的方法具有前景。
引用
@article{arxiv.2303.14384,
title = {Reliability-Hierarchical Memory Network for Scribble-Supervised Video Object Segmentation},
author = {Zikun Zhou and Kaige Mao and Wenjie Pei and Hongpeng Wang and Yaowei Wang and Zhenyu He},
journal= {arXiv preprint arXiv:2303.14384},
year = {2023}
}
备注
This project is available at https://github.com/mkg1204/RHMNet-for-SSVOS