利用深度学习生成的面部 landmarks 进行低成本基于几何的眼球注视检测
计算机视觉与模式识别
2024-01-02 v1
摘要
引言：在人机交互和行为研究领域，准确的实时注视估计至关重要。传统方法通常依赖昂贵设备或大型数据集，这在许多场景中并不实用。本文介绍了一种新颖的基于几何的方法以应对这些挑战，利用消费级硬件以实现更广泛的适用性。方法：我们利用能够在消费级芯片上进行快速推理的新型面部 landmarks 检测神经网络，生成准确且稳定的面部和虹膜 3D landmarks。由此，我们推导出一组少量的基于几何的描述符，形成一个代表眼睛和头部运动的 8 维流形。这些描述符随后用于构建线性方程以预测眼球注视方向。结果：我们的方法展示了预测注视的角误差小于 1.9 度的能力，可与最先进系统相媲美，同时实现实时运行且仅需微不足道的计算资源。结论：所开发的方法标志着注视估计技术的重大进步，提供了一种高精度、高效率且易于获取的替代传统系统的方案。它为从游戏到心理学研究等不同领域的实时应用开辟了新的可能性。
引用
@article{arxiv.2401.00406,
title = {Low-cost Geometry-based Eye Gaze Detection using Facial Landmarks Generated through Deep Learning},
author = {Esther Enhui Ye and John Enzhou Ye and Joseph Ye and Jacob Ye and Runzhou Ye},
journal= {arXiv preprint arXiv:2401.00406},
year = {2024}
}