基于潜光学传感的低延迟凝视跟踪
计算机视觉与模式识别
2026-05-19 v1 人机交互
摘要
我们提出了一个实时凝视跟踪系统，直接获取任务相关的潜在特征，使用全被动光学编码器。不同于形成和处理全分辨率图像，本方法利用带有共设计的二值化氧化铬掩模的微透镜阵列，执行空间复用光学编码，产生一组足够用于凝视估计的紧凑测量。通过将感知和特征提取集成到光学域，本系统消除了高带宽图像读取的需求，显著减少了计算开销。编码测量由4×4光电晶体管阵列捕获，并映射到凝视方向使用轻量级神经网络。我们的概念原型实现了3.4毫秒的端到端感知到推理延迟，超越了已发表的研究系统。我们在模拟数据和真实世界数据上展示了方法的有效性，在保持竞争性凝视估计精度的同时，显著改进了延迟和能源效率，相对于传统基于相机的管道。本工作凸显了任务导向光学感知在超低延迟、计算效率高的人机交互系统中的潜力。
引用
@article{arxiv.2605.17990,
title = {Low Latency Gaze Tracking via Latent Optical Sensing},
author = {Yidan Zheng and Matheus Souza and Kaizhang Kang and Qiang Fu and Hadi Amata and Wolfgang Heidrich},
journal= {arXiv preprint arXiv:2605.17990},
year = {2026}
}