用于低延迟瞳孔检测的神经形态眼动追踪
计算机视觉与模式识别
2025-12-12 v1 神经与进化计算
摘要
可穿戴系统的眼动追踪要求低延迟和毫瓦级功耗，但传统的基于帧的处理流程面临运动模糊、高计算成本和有限时间分辨率的困难。这些能力对于在增强现实（AR）和虚拟现实（VR）等新兴技术中实现无缝且响应迅速的交互至关重要，在这些技术中，理解用户注视是沉浸感和界面设计的关键。神经形态传感器和脉冲神经网络（SNN）提供了一种有前景的替代方案，但现有的 SNN 方法要么过于专业化，要么性能不及现代 ANN 架构。本文提出了一种高性能基于事件的眼动追踪模型的神经形态版本，用轻量级 LIF 层替换了其循环和注意力模块，并利用深度可分离卷积来降低模型复杂度。我们的模型取得了 3.7-4.1px 的平均误差，接近专用神经形态系统 Retina（3.24px）的精度，同时与所提出模型最接近的 ANN 变体相比，模型尺寸缩小了 20 倍，理论计算量减少了 850 倍。预计这些高效变体可在 1 kHz 频率下以 3 ms 的延迟和约 3.9-4.9 mW 的功耗运行。目前的结果表明，高性能的基于事件的眼动追踪架构可以被重新设计为 SNN，在获得显著效率提升的同时，保持适合实时可穿戴部署的精度。
引用
@article{arxiv.2512.09969,
title = {Neuromorphic Eye Tracking for Low-Latency Pupil Detection},
author = {Paul Hueber and Luca Peres and Florian Pitters and Alejandro Gloriani and Oliver Rhodes},
journal= {arXiv preprint arXiv:2512.09969},
year = {2025}
}
备注
8 pages, 2 figures, conference