面向小功耗事件驱动的全集成 pupil tracking 方案的 neuromorphic 实现

眼动追踪是诸多应用的基础，但要实现可靠的高频率跟踪且功耗极低，在可穿戴平台上仍具挑战。虽然事件基视觉传感器提供微秒级分辨率和稀疏数据流，但缺乏完全集成、低功耗的实时推理处理方案。本文提出首个基于事件和神经形态处理在商业可用的 Speck2f 系统级芯片上实现的、配备轻量级坐标解码的低功耗微控制器的 battery-powered、可穿戴 pupil-center-tracking 系统。该方案特点是 novel uncertainty-quantifying spiking neural network with gated temporal decoding，针对严格的内存和带宽约束进行优化，并辅以系统化的部署机制弥合现实鸿沟。我们在新的多用户数据集上对系统进行验证，展示了一个搭载双 neuromorphic 设备的可穿戴原型，实现了每只眼睛平均功耗低于 5 mW 的双眼 pupil tracking，跟踪频率达 100 Hz。我们的工作表明，端到端的神经形态计算使得 practical、始终可用且面向下一代能效高效可穿戴系统的眼动跟踪成为可能。