TPP-Gaze: 利用神经时间点过程建模空间与时间中的注视动态

注意力引导我们的注视点固定在场景的适当位置，并根据当前的处理需求在该位置保持适当的时间长度，然后转移到下一个位置。因此，注视部署本质上是一个时间过程。现有的计算模型在预测观察者视觉扫描路径的空间方面（看哪里）取得了重大进展，而往往将注意力的动态时间方面（何时）置于背景中。在本文中，我们提出了 TPP-Gaze，这是一种基于神经时间点过程（Neural Temporal Point Process, TPP）的建模扫描路径动态的新颖且原理性的方法，它联合学习注视位置与持续时间的动态，将深度学习方法与点过程理论相结合。我们在五个公开可用数据集上进行了广泛实验。我们的结果表明，所提出的模型相比最先进方法具有整体优越的性能。源代码和训练模型公开可得：https://github.com/phuselab/tppgaze。