GazeGaussian：基于 3D 高斯泼溅的高保真视线重定向
计算机视觉与模式识别
2025-07-10 v2
摘要
视线估计在处理分布外数据时面临泛化挑战。为了解决这个问题，最近的方法使用神经辐射场（NeRF）生成增强数据。然而，现有的基于 NeRF 的方法计算成本高且缺乏面部细节。3D 高斯泼溅（3DGS）已成为神经场的主流表示。尽管 3DGS 在头部化身中得到了广泛研究，但在精确视线控制和跨不同主体的泛化方面仍面临挑战。在这项工作中，我们提出了 GazeGaussian，这是第一种使用双流 3DGS 模型分别表示面部和眼部区域的高保真视线重定向方法。利用 3DGS 的非结构化特性，我们开发了一种基于目标视线方向的刚性眼球旋转眼部新表示。为了实现跨不同主体的合成泛化，我们集成了一个表情引导模块，将主体特定信息注入神经渲染器。综合实验表明，GazeGaussian 在多个数据集上的渲染速度、视线重定向精度和面部合成方面均优于现有方法。代码可在以下地址获取：https://ucwxb.github.io/GazeGaussian。
引用
@article{arxiv.2411.12981,
title = {GazeGaussian: High-Fidelity Gaze Redirection with 3D Gaussian Splatting},
author = {Xiaobao Wei and Peng Chen and Guangyu Li and Ming Lu and Hui Chen and Feng Tian},
journal= {arXiv preprint arXiv:2411.12981},
year = {2025}
}
备注
Accepted by ICCV2025