探索基于事件的眼动追踪器的时序动力学
计算机视觉与模式识别
2025-04-01 v1
摘要
眼动追踪是人机交互的关键技术，尤其在 AR、VR 和 XR 穿戴设备中应用广泛。基于帧的图像传感器实现高速高精度眼动追踪受限于其时序分辨率，这会捕捉快速眼动动态（如眼球运动和眨眼）时表现不佳。受生物视觉系统启发的事件相机能够以极低的功耗和超高时序分辨率感知眼球运动，这使其成为实现高速高精度跟踪并捕获丰富时序动力学的有前景的解决方案。本文提出了 TDTracker，一种有效的眼动跟踪框架，通过充分建模隐式和显式视角下的时序动力学来捕捉快速眼球运动。TDTracker 使用 3D 卷积神经网络捕获隐式的短期时序动力学，并采用包含频率感知模块、GRU 和 Mamba 的级联结构来提取显式的长期时序动力学。最终使用预测热图进行眼坐标回归。实验结果表明，TDTracker 在合成 SEET 数据集上实现了状态的业绩，并在 CVPR 2025 年基于事件的眼动追踪挑战赛中获得了第三名。我们的代码已公开于 https://github.com/rhwxmx/TDTracker。
引用
@article{arxiv.2503.23725,
title = {Exploring Temporal Dynamics in Event-based Eye Tracker},
author = {Hongwei Ren and Xiaopeng Lin and Hongxiang Huang and Yue Zhou and Bojun Cheng},
journal= {arXiv preprint arXiv:2503.23725},
year = {2025}
}
备注
Accepted by CVPR 2025 Event-based Vision Workshop