基于事件相机的瞳孔跟踪框架

眼球快速运动（saccades）是指同时发生的极其快速的眼球运动，通常在个体将注意力从一个物体转向另一个物体时观察到。这些运动是人类产生的最快运动之一，具有可能超过眨眼速度的潜力。在更大的凝视角（25{\deg}）的情况下，眼球在眼球运动期间的峰值角速度可达人类 700{\deg}/s。以往的研究表明，通过研究眼球运动有助于理解神经疾病。眼球运动检测的一个必要步骤是准确地识别瞳孔在眼球中的精确位置，可推导出额外信息，如凝视角。传统的帧式相机往往难以实现对跟踪非常快的运动所需的高时序精度，导致运动模糊和延迟问题。相较而言，事件相机以异步方式记录视觉场景中的变化，提供高时序分辨率和低延迟，具有前景。通过搭桥传统计算机视觉与基于事件的视觉，我们将事件用作可被标准深度学习算法使用的帧。该方法利用 YOLOv8——一种最先进的对象检测技术——对这些帧进行处理，以 Ev-Eye 数据集进行瞳孔跟踪。实验结果表明，该框架有效，凸显了其在神经科学、眼科和人机交互中的潜在应用。