鲁棒实时多视角眼动追踪

尽管在受控条件下提高注视追踪精度方面已取得显著进展，但在真实世界条件（如大幅头部姿态与运动、眼镜使用、光照与眼型变化）下的追踪鲁棒性仍是眼动追踪中的一大挑战。本文重新审视该挑战并引入一个实时多摄像头眼动追踪框架以提升追踪鲁棒性。首先，与先前工作不同，我们设计了一个多视角追踪设置，可同时获取多种眼部外观。利用多视角外观能够在挑战性条件下更可靠地检测注视特征，尤其是当这些特征因大幅头部运动或眼镜效应在常规单视角外观中被遮挡时。从各外观提取的特征随后用于估计多个注视输出。其次，我们提出通过自适应融合机制组合估计的注视输出以计算用户的总体注视点。该机制首先依据用户的瞬时头部姿态与预测的注视行为确定各注视输出的估计可靠性，进而执行基于可靠性的加权融合。我们在包含 20 名受试者的采集数据集上通过大量仿真与用户实验证明了框架的有效性。结果表明，与最先进（SOTA）眼动追踪仪相比，所提框架不仅显著提升了精度，也明显增强了鲁棒性。我们的原型系统以 30 帧每秒（fps）运行，并在挑战性实验场景下达到 1 度精度，使其适用于要求高精度与高鲁棒性的应用。