GazeNeRF：基于神经辐射场的 3D 感知视线重定向
计算机视觉与模式识别
2023-03-30 v2
摘要
我们提出 GazeNeRF，一种用于视线重定向任务的 3D 感知方法。现有的视线重定向方法在 2D 图像上操作，难以生成 3D 一致的结果。相反，我们基于如下直觉：面部区域与眼球是分离且协调而独立运动的 3D 结构。我们的方法利用条件式基于图像的神经辐射场（neural radiance fields）的最新进展，提出一种双流架构，分别预测面部与眼部区域的体积特征。通过 3D 旋转矩阵对眼部特征进行刚性变换，可实现对期望视线角度的细粒度控制。随后通过可微体积合成得到最终的重定向图像。我们的实验表明，该架构在重定向精度与身份保持方面优于朴素条件化的 NeRF 基线以及先前最先进的 2D 视线重定向方法。
引用
@article{arxiv.2212.04823,
title = {GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields},
author = {Alessandro Ruzzi and Xiangwei Shi and Xi Wang and Gengyan Li and Shalini De Mello and Hyung Jin Chang and Xucong Zhang and Otmar Hilliges},
journal= {arXiv preprint arXiv:2212.04823},
year = {2023}
}
备注
Accepted at CVPR 2023. Github page: https://github.com/AlessandroRuzzi/GazeNeRF