通过学习任务依赖的注意力转移预测第一人称视角视频中的注视点

我们提出了一种新的第一人称视角视频注视点预测计算模型，该模型探索了依赖于第一人称操作任务的注视点时间偏移模式（注意力转移）。我们的假设是，关于如何以特定方式完成某项任务的高层语境对注意力转移有强烈影响，应在自然动态场景的注视点预测中对其进行建模。具体而言，我们提出了一种基于深度神经网络的混合模型，将任务依赖的注意力转移与自下而上的显著性预测相结合。特别地，使用循环神经网络学习任务依赖的注意力转移，以利用注视点的时间语境，例如在将视线从抓取的瓶子上移开后看向杯子。在公开的第一人称视角活动数据集上的实验表明，我们的模型显著优于 SOTA 注视点预测方法，并且能够学习到有意义的人类注意力转移。