基于边缘智能与模型优化的智能手机眼动跟踪系统
摘要
当前智能手机基于视频的视觉刺激的眼动跟踪算法 accuracy 较低，因为它们通常是在静态图像上训练的。此外，越来越多的需要在智能手机上实现实时交互式应用（如游戏、VR 和 AR）的需求，要求克服资源限制（如计算功率、电池寿命和网络带宽）的限制。因此，我们开发了两种新的智能手机眼动跟踪技术，用于视频类型的视觉，通过将卷积神经网络（CNN）与两种不同的循环神经网络（RNN）——即长短期记忆（LSTM）和门控循环单元（GRU）——结合。我们的 CNN+LSTM 和 CNN+GRU 模型分别实现了平均根均方误差为 0.955 cm 和 1.091 cm。为了解决智能手机的计算限制，我们开发了一种边缘智能架构来提高智能手机眼动跟踪的性能。我们应用了量化和修剪等各种优化方法，以提高在边缘设备上的能源、CPU 和内存使用效率，专注于实时处理。在边缘设备上进行模型量化，CNN+LSTM 和 CNN+GRU 模型的推理时间分别降低了 21.72% 和 19.50%。
引用
@article{arxiv.2408.12463,
title = {Smartphone-based Eye Tracking System using Edge Intelligence and Model Optimisation},
author = {Nishan Gunawardena and Gough Yumu Lui and Jeewani Anupama Ginige and Bahman Javadi},
journal= {arXiv preprint arXiv:2408.12463},
year = {2025}
}
备注
I have included the three papers as reference, which are closely related. We have expanded the future work section to provide a more thorough discussion of the concepts of "varying lighting conditions" and "dynamic user environments." We have added a note below Table 4 to clarify the abbreviations' meaning. Elaborated the role of the Domain Expert within the presentation layer in Section 4.1