EyeCoD：基于 FlatCam 的算法与加速器协同设计的眼动追踪系统加速
人机交互
2025-03-04 v3 硬件体系结构
摘要
眼动追踪已成为众多虚拟与增强现实（VR/AR）应用中提供沉浸式体验的重要人机交互方式，这些应用期望高吞吐率（如 240 FPS）、小体积与增强的视觉隐私。然而，现有眼动追踪系统仍受限于：（1）由于采用笨重的基于透镜的相机而导致的大体积；以及（2）相机与后端处理器间所需的高通信开销，从而阻碍了其更广泛的应用。为此，我们提出一种基于无透镜 FlatCam 的眼动追踪算法与加速器协同设计框架，称为 EyeCoD，以在保持追踪精度的同时大幅减小系统体积并提升系统效率，为下一代眼动追踪方案铺路。在系统层面，我们主张采用无透镜 FlatCam 以满足移动眼动追踪系统的小体积需求。在算法层面，EyeCoD 集成了“先预测后聚焦”流水线：先通过分割预测感兴趣区域（ROI），再仅聚焦于 ROI 部分以估计注视方向，极大减少了冗余计算与数据搬移。在硬件层面，我们进一步开发了专用加速器，其（1）在上述分割与注视估计模型间集成新颖的工作负载编排，（2）利用深度向层的内通道复用机会，（3）采用基于输入特征的划分以节省激活内存大小。硅上测量证实，我们的 EyeCoD 持续降低通信与计算开销，相较 CPU、GPU 与名为 CIS-GEP 的已有眼动追踪处理器，分别实现 10.95x、3.21x 与 12.85x 的整体系统加速，同时保持追踪精度。
引用
@article{arxiv.2206.00877,
title = {EyeCoD: Eye Tracking System Acceleration via FlatCam-based Algorithm & Accelerator Co-Design},
author = {Haoran You and Cheng Wan and Yang Zhao and Zhongzhi Yu and Yonggan Fu and Jiayi Yuan and Shang Wu and Shunyao Zhang and Yongan Zhang and Chaojian Li and Vivek Boominathan and Ashok Veeraraghavan and Ziyun Li and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2206.00877},
year = {2025}
}
备注
Accepted by ISCA 2022; Also selected as an IEEE Micro's Top Pick of 2023