数字化原型设计你的眼动追踪器：使用 3D 合成数据模拟硬件性能
计算机视觉与模式识别
2025-03-24 v1
摘要
眼动追踪（ET）是增强现实和虚拟现实（AR/VR）的关键使能技术。原型设计新的 ET 硬件需要评估硬件选择对眼动追踪性能的影响。这项任务因获取足够多不同真实硬件变体的数据成本高昂而变得复杂，尤其是对于需要大型训练集的机器学习而言。我们提出了一种仅使用合成数据评估硬件变化如何影响基于机器学习的 ET 性能的端到端方法。我们利用一组从光穹数据使用神经辐射场（NeRF）重建的真实 3D 眼睛数据集，来合成来自新视角和相机参数的捕获眼睛。使用该框架，我们证明我们可以预测不同硬件配置之间的相对性能，考虑了传感器噪声、照明亮度和光学模糊的变化。我们还将我们的模拟器与来自 Project Aria 眼镜的公开可用眼动追踪数据集进行了比较，证明了与真实世界性能的强相关性。最后，我们展示了一项首例分析，其中我们改变 ET 相机位置，评估从眼睛正轴直接视图到框架外围视图的眼动追踪性能。此类分析此前需要制造物理设备来捕获评估数据。简而言之，我们的方法实现了更快的 ET 硬件原型设计。
引用
@article{arxiv.2503.16742,
title = {Digitally Prototype Your Eye Tracker: Simulating Hardware Performance using 3D Synthetic Data},
author = {Esther Y. H. Lin and Yimin Ding and Jogendra Kundu and Yatong An and Mohamed T. El-Haddad and Alexander Fix},
journal= {arXiv preprint arXiv:2503.16742},
year = {2025}
}
备注
14 pages, 12 figures