实时动态凝视目标跟踪与深度层级估计
人机交互
2024-06-28 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
透明显示器（TD）在诸多应用中（如车辆中的heads-up显示器HUD）的集成正在快速发展，旨在彻底改变用户体验。然而，这一创新为实时人机交互带来了诸多挑战，尤其是准确识别和跟踪用户在动态变换TD上的凝视目标。本文提出了一种面向实时凝视监控的两阶段稳健高效解决方案，包括：（1）基于树状结构的算法，用于在实时内识别和动态跟踪投射到透明显示器上的凝视目标（即移动、尺寸变化和重叠的二维内容）；（2）用于估计人类凝视深度层级的多流自注意力架构，以 account for 显示器的透明性，防止与TD发生不必要的交互。我们收集了一个真实世界的eye-tracking数据集用于训练和测试凝视监控系统。我们提出了广泛的实验结果和消融研究，包括在系统级芯片（SoC）评估板上的推理实验，展示了该模型在静态和动态情境下的可扩展性、精确性和实时可行性。我们的解决方案为提升下一代用户设备交互和体验，为动态透明显示器的算法凝视监控技术设定了新基准。
关键词
引用
@article{arxiv.2406.18595,
title = {Realtime Dynamic Gaze Target Tracking and Depth-Level Estimation},
author = {Esmaeil Seraj and Harsh Bhate and Walter Talamonti},
journal= {arXiv preprint arXiv:2406.18595},
year = {2024}
}