从无标注视频中渐进式学习视频显著性目标检测
计算机视觉与模式识别
2022-04-06 v1
摘要
近期基于深度学习的视频显著性目标检测（VSOD）已取得一定突破，但这些方法依赖于带有像素级标注、弱标注或部分像素级标注的昂贵标注视频。本文基于 VSOD 与图像显著性目标检测（SOD）的异同，提出一种通过渐进式框架、无需任何视频标注即可依次定位与分割显著性目标的新 VSOD 方法。为高效利用 SOD 数据集中学到的知识进行 VSOD，我们引入动态显著性以补偿 SOD 在定位过程中运动信息的缺失，同时保留相同的精细分割过程。具体地，提出一种生成时空位置标签的算法，其由生成高显著性位置标签与在相邻帧中跟踪显著性目标组成。基于这些位置标签，给出一种引入光流分支用于视频显著性目标定位的双流定位网络。尽管我们的方法完全不需要标注视频，在 DAVIS、FBMS、ViSal、VOS 与 DAVSOD 五个公开基准上的实验结果表明，所提方法可与全监督方法媲美，并优于当前最先进的弱监督与无监督方法。
引用
@article{arxiv.2204.02008,
title = {Learning Video Salient Object Detection Progressively from Unlabeled Videos},
author = {Binwei Xu and Haoran Liang and Wentian Ni and Weihua Gong and Ronghua Liang and Peng Chen},
journal= {arXiv preprint arXiv:2204.02008},
year = {2022}
}