利用注视数据作为标注的弱监督注视物体检测
计算机视觉与模式识别
2022-04-15 v1
摘要
我们考虑从自我中心视觉中检测并识别文化场所中访客所观察的物体（即注视物体）的问题。该问题的标准方法涉及检测所有物体并选择通过注视追踪器测量的与访客注视重叠最佳者。由于标注大量数据以训练标准物体检测器在成本和时间上昂贵，我们提出该任务的弱监督版本，其仅依赖注视数据和指示注视物体类别的帧级标签。为研究该问题，我们呈现一个由自我中心视频和参观博物馆受试者的注视坐标组成的新数据集。进而，我们在所收集数据上比较三种用于弱监督注视物体检测的不同基线。结果表明，所考虑的方法以弱监督方式取得了令人满意的性能，相较于基于Faster R-CNN的全监督检测器可显著节省时间。为鼓励该主题的研究，我们在以下网址公开发布代码与数据集：https://iplab.dmi.unict.it/WS_OBJ_DET/
引用
@article{arxiv.2204.07090,
title = {Weakly Supervised Attended Object Detection Using Gaze Data as Annotations},
author = {Michele Mazzamuto and Francesco Ragusa and Antonino Furnari and Giovanni Signorello and Giovanni Maria Farinella},
journal= {arXiv preprint arXiv:2204.07090},
year = {2022}
}