FovealNet：面向虚拟现实中优化化学渲染系统性能的 AI 驱动凝视跟踪解决方案
计算机视觉与模式识别
2025-01-03 v2 人工智能
摘要
利用实时眼动追踪，凝视化学渲染可优化硬件效率并提升虚拟现实（VR）的视觉质量。该方法利用眼动追踪技术确定用户注视的区域，使系统仅在视网膜视觉敏感性最高的凝视区渲染高分辨率图形，而周边视野则以较低分辨率渲染。然而，现代基于深度学习的凝视跟踪解决方案常表现出长尾分布的跟踪误差，可能降低用户体验并削弱凝视化学渲染的优势，导致对齐失误和视觉质量下降。本文介绍一种名为 FovealNet 的高级 AI 驱动凝视跟踪框架，旨在通过战略性提升凝视跟踪精度来优化系统性能。为进一步降低凝视跟踪算法的实施成本，FovealNet 采用基于事件的裁剪方法，可消除输入图像中超过 64.8% 的无关像素。此外，它融入一种简单而有效的 token 裁剪策略，可在不牺牲跟踪精度的前提下动态删除 token。最后，为支持不同的运行时渲染配置，本文提出一种面向系统性能的多分辨率训练策略，使凝视跟踪深度神经网络能够更有效地适应并优化整体系统性能。评估结果表明，FovealNet 相较于先前方法至少实现 1.42 倍的加速，并为凝视化学输出提升 13% 的感知质量。
引用
@article{arxiv.2412.10456,
title = {FovealNet: Advancing AI-Driven Gaze Tracking Solutions for Optimized Foveated Rendering System Performance in Virtual Reality},
author = {Wenxuan Liu and Monde Duinkharjav and Qi Sun and Sai Qian Zhang},
journal= {arXiv preprint arXiv:2412.10456},
year = {2025}
}