GazeSCRNN：使用脉冲神经网络的基于事件的近眼注视追踪
计算机视觉与模式识别
2025-03-21 v1 神经与进化计算
摘要
本工作介绍了GazeSCRNN，一种为基于事件的近眼注视追踪设计的新型脉冲卷积循环神经网络。利用动态视觉传感器（DVS）相机的高时间分辨率、高能效以及与基于事件系统的兼容性，GazeSCRNN使用脉冲神经网络（SNN）来解决传统注视追踪系统在捕捉动态运动方面的局限性。所提出的模型使用自适应漏积分触发（ALIF）神经元和针对时空数据优化的混合架构来处理来自DVS相机的事件流。在EV-Eye数据集上的广泛评估证明了该模型在预测注视向量方面的准确性。此外，我们进行了消融研究，揭示了ALIF神经元、动态事件帧构建以及诸如前向传播时间（Forward-Propagation-Through-Time）等训练技术在提升系统整体性能方面的重要性。最准确的模型实现了6.034°的平均角度误差（MAE）和2.094 mm的平均瞳孔误差（MPE）。因此，本工作开创性地证明了使用SNN进行基于事件注视追踪的可行性，同时为进一步改进揭示了关键挑战与机遇。
引用
@article{arxiv.2503.16012,
title = {GazeSCRNN: Event-based Near-eye Gaze Tracking using a Spiking Neural Network},
author = {Stijn Groenen and Marzieh Hassanshahi Varposhti and Mahyar Shahsavari},
journal= {arXiv preprint arXiv:2503.16012},
year = {2025}
}