无眼动追踪条件下利用视觉与头部运动线索的虚拟现实注视预测
计算机视觉与模式识别
2026-01-27 v1
摘要
注视预测在虚拟现实（VR）应用中发挥着关键作用，它通过减少传感器引起的延迟并支持注视点渲染等计算密集型技术，这些技术依赖于对用户注意力的预测。然而，由于硬件限制或隐私问题，直接眼动追踪通常不可用。为解决这一问题，我们提出了一种新型注视预测框架，将头戴式显示器（HMD）运动信号与源自视频帧的视觉显著性线索相结合。我们的方法采用 UniSal（一种轻量级显著性编码器）提取视觉特征，随后将其与 HMD 运动数据融合，并通过时间序列预测模块进行处理。我们评估了 TSMixer 和 LSTM 两种轻量级架构用于预测未来注视方向。在 EHTask 数据集上的实验以及在商用 VR 硬件上的部署表明，我们的方法持续优于 Center-of-HMD 和 Mean Gaze 等基线方法。这些结果证明了在直接眼动追踪受限的 VR 环境中，预测性注视建模在减少感知延迟和增强自然交互方面的有效性。
引用
@article{arxiv.2601.18372,
title = {Gaze Prediction in Virtual Reality Without Eye Tracking Using Visual and Head Motion Cues},
author = {Christos Petrou and Harris Partaourides and Athanasios Balomenos and Yannis Kopsinis and Sotirios Chatzis},
journal= {arXiv preprint arXiv:2601.18372},
year = {2026}
}