FAPNet：一种有效的频率自适应基于点的眼动追踪器

眼动追踪对于不同领域的人机交互至关重要。传统摄像头在不同眼动过程中面临功耗和图像质量挑战，促使需要具有超快、低功耗和高精度的先进解决方案。事件摄像头 fundamentally 设计用于捕捉移动物体的信息，具有低功耗和高时间分辨率。这将其作为传统摄像头在眼动追踪领域的替代方案。然而，现有的基于事件的眼动追踪网络忽略了事件中稀疏和细粒度的时间信息，导致性能不佳。此外，能源效率特征因使用过于复杂的模型而进一步受损，阻碍在边缘设备上的高效部署。本文将点云用作事件表示，以发掘事件在眼动跟踪任务中的高时间分辨率和稀疏特性。我们重新构思基于点的架构 PEPNet，通过预处理样本之间的长期关系，导致 FAPNet 的创新设计。设计了频率自适应机制，以根据瞳孔运动速度实现自适应跟踪，并引入 Inter Sample LSTM 模块以利用样本之间的时间相关性。在 Event-based Eye Tracking 挑战中，我们利用 vanilla PEPNet（即前期工作），实现了 $p_{10}$ 为 97.95\%。在 SEET 人工合成数据集上，FAPNet 能够实现最先进的性能，仅耗费 PEPNet 计算资源的 10\%。值得注意的是，FAPNet 的计算需求与传感器的空间分辨率无关，增强了其在资源受限边缘设备上的适用性。