基于点监督的弱监督视频显著目标检测
计算机视觉与模式识别
2022-07-18 v1
摘要
在像素级稠密标注上训练的视频显著目标检测模型已取得优异性能,但获取逐像素标注数据集十分费力。若干工作尝试使用涂鸦标注来缓解该问题,而点监督作为一种更省力的标注方法(甚至是稠密预测人工标注方法中最为省力的),尚未被探索。本文提出一种基于点监督的强基线模型。为推断具有时间信息的显著性图,我们分别从短期和长期视角挖掘帧间互补信息。具体而言,我们提出一种混合令牌注意力模块,从正交方向混合光流与图像信息,自适应地突出关键光流信息(通道维度)与关键令牌信息(空间维度)。为利用长期线索,我们开发了长时跨帧注意力模块(LCFA),其基于多帧令牌辅助当前帧推断显著目标。此外,我们通过重新标注DAVIS和DAVSOD数据集,制作了两个点监督数据集P-DAVIS和P-DAVSOD。在六个基准数据集上的实验表明,我们的方法优于先前最先进的弱监督方法,甚至可与某些全监督方法相媲美。源代码与数据集已公开。
引用
@article{arxiv.2207.07269,
title = {Weakly Supervised Video Salient Object Detection via Point Supervision},
author = {Shuyong Gao and Haozhe Xing and Wei Zhang and Yan Wang and Qianyu Guo and Wenqiang Zhang},
journal= {arXiv preprint arXiv:2207.07269},
year = {2022}
}
备注
accepted by ACM MM 2022