JaneEye：一种12nm 2K-FPS 18.9 μJ/帧事件型眼动加速器

眼动跟踪已成为Extended Reality（XR）中基于凝视互动的关键技术。然而，传统的帧率眼动跟踪系统往往难以满足XR对高精度、低延迟和能效的严格要求。事件相机作为一种有竞争力的替代方案，能够提供超高时频分辨率和低功耗。本文我们提出了JaneEye，这是一种为可穿戴设备专门设计的、能效高的事件型眼动跟踪硬件加速器，利用稀疏的、高时频事件数据。我们引入一种超轻量级神经网络架构，特点是 novel ConvJANET层，该层简化了传统ConvLSTM结构，仅保留遗忘门，从而在不牺牲时序建模能力的情况下将计算复杂度减半。我们提出的模型仅使用17.6K参数即可实现高精度，在3ET+数据集上像素误差为2.45，支持最高1250 Hz事件帧率。为了进一步提升硬件效率，我们采用hardsigmoid和hardtanh等激活函数的自定义线性近似方法，并进行固定点量化。通过软件-硬件协同设计，我们的12nm ASIC实现在400 MHz下工作，在能效达18.9 μJ/帧的情况下实现端到端延迟为0.5 ms（相当于2000帧/秒）。JaneEye为下一代XR可穿戴设备的集成奠定了低功耗、高性能眼动跟踪解决方案的新基准。