面向人脸的高保真可动眼神经辐射场
计算机视觉与模式识别
2023-09-13 v3
摘要
使用神经辐射场(NeRF)进行人脸渲染是计算机视觉中一个快速发展的研究领域。虽然近期方法主要关注控制身份和表情等面部属性,但它们常常忽略建模眼球旋转这一重要方面,而后者对多种下游任务具有重要意义。在本文中,我们旨在从多视角图像中学习一个对眼球运动敏感的人脸NeRF模型。我们解决了眼感知人脸NeRF学习中的两个关键挑战:如何有效捕捉眼球旋转用于训练,以及如何构建表示眼球旋转的流形。为此,我们首先在考虑多视角一致性的前提下,将成熟的参数化人脸模型FLAME拟合到多视角图像上。随后,我们提出了一种新的动态眼感知NeRF(DeNeRF)。DeNeRF将不同视角的3D点变换到规范空间,以学习统一的人脸NeRF模型。我们设计了一个用于变换的眼部形变场,包括刚性变换(如眼球旋转)和非刚性变换。通过在ETH-XGaze数据集上的实验,我们证明即使在新颖视角下,我们的模型也能生成具有精确眼球旋转和非刚性眼周形变的高保真图像。此外,我们表明利用渲染图像可以有效提升凝视估计性能。
引用
@article{arxiv.2308.00773,
title = {High-Fidelity Eye Animatable Neural Radiance Fields for Human Face},
author = {Hengfei Wang and Zhongqun Zhang and Yihua Cheng and Hyung Jin Chang},
journal= {arXiv preprint arXiv:2308.00773},
year = {2023}
}
备注
BMVC2023 Oral