第一人称视频中的参与性检测

在可穿戴相机视频中，我们看到相机佩戴者所看到的景象。虽然这让我们容易大致知道他选择看什么，但并不能立即揭示他何时与环境产生了参与性。具体而言，在他暂停以收集所看到事物的更多信息时，他的注意力在哪些时刻停留？知道这一答案将有助于视频摘要和增强现实的各种应用，然而先前的工作仅关注“看什么”问题（估计显著性、注视），而未考虑“何时”（参与性）。我们提出一种基于学习的方法，利用长期自我运动线索来检测参与性，特别是在频繁接收新视觉信息的浏览场景（例如购物、游览）中。我们引入了一个大规模、富含标注的第一人称参与性数据集，属同类首创。我们的方法优于大量现有方法。我们表明，参与性可以很好地被检测，且独立于场景外观和相机佩戴者的身份。