协同设计基于子流形稀疏CNN的亚毫秒延迟事件驱动眼动追踪系统
计算机视觉与模式识别
2024-04-23 v1 硬件体系结构
摘要
眼动追踪技术是众多消费电子应用的核心，尤其是在虚拟现实和增强现实（VR/AR）领域。这些应用要求在三个关键方面表现出色：低延迟、低功耗和高精度。然而，在所有方面实现最优性能是一项艰巨的挑战，需要在复杂算法和高效后端硬件实现之间取得平衡。在本研究中，我们通过软件/硬件协同设计系统与事件相机来应对这一挑战。利用事件驱动输入数据的固有稀疏性，我们集成了一种新颖的稀疏FPGA数据流加速器，专为子流形稀疏卷积神经网络（SCNN）定制。该加速器上的SCNN通过仅处理非零激活，能够从每个事件切片表示中高效提取嵌入特征向量。随后，这些向量由主机CPU上的门控循环单元（GRU）和全连接层进一步处理，以生成眼中心。我们系统的部署和评估显示出卓越的性能指标。在Event-based Eye-Tracking-AIS2024数据集上，我们的系统实现了81%的p5准确率、99.5%的p10准确率、3.71的平均欧氏距离，延迟为0.7毫秒，每次推理仅消耗2.29毫焦耳。值得注意的是，我们的解决方案为未来的眼动追踪系统开辟了机遇。代码可在https://github.com/CASR-HKU/ESDA/tree/eye_tracking获取。
引用
@article{arxiv.2404.14279,
title = {Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN},
author = {Baoheng Zhang and Yizhao Gao and Jingyuan Li and Hayden Kwok-Hay So},
journal= {arXiv preprint arXiv:2404.14279},
year = {2024}
}
备注
Accepted to CVPR 2024 workshop, AIS: Vision, Graphics, and AI for Streaming