GazeProphetV2：基于头部运动的视线预测，使移动 VR 实现高效视点渲染
计算机视觉与模式识别
2025-11-26 v1
摘要
在虚拟现实环境中预测视线行为仍是一个具有渲染优化和界面设计影响方面的重大挑战。本文提出了一种多模态的 VR 视线预测方法，结合了时序视线模式、头部运动数据和视觉场景信息。通过利用带有跨模态注意力的门控融合机制，该方法学习如何根据上下文相关性自适应地对视线历史、头部运动和场景内容进行加权。使用覆盖 22 个 VR 场景、530 万条视线样本的数据进行评估，结果表明将多个模态组合使用相对于仅使用单个数据流会显著提升预测准确性。结果表明，将过去的视线轨迹与头部姿态和场景内容集成，可在 1-3 个未来帧上提升预测准确性。跨场景泛化测试显示，验证准确率达 93.1%，且预测视线轨迹在时序上保持一致性。这些发现为理解虚拟环境中的注意力机制提供了依据，同时暗示了在渲染优化、交互设计和用户体验评估方面的潜在应用。该方法为构建无需昂贵眼动追踪硬件即可预测用户注意力模式的更高效虚拟现实系统铺平了道路。
引用
@article{arxiv.2511.19988,
title = {GazeProphetV2: Head-Movement-Based Gaze Prediction Enabling Efficient Foveated Rendering on Mobile VR},
author = {Farhaan Ebadulla and Chiraag Mudlpaur and Shreya Chaurasia and Gaurav BV},
journal= {arXiv preprint arXiv:2511.19988},
year = {2025}
}