NLDF：用于高效 3D 说话人头生成的神经光动态场
计算机视觉与模式识别
2024-06-18 v1 人工智能
摘要
基于神经辐射场模型的说话人头生成已展现出鼎舞的视觉效果。然而，NeRF 渲染速度慢严重限制了其应用，由于对合成单个像素需对数百个采样点进行繁重计算。本文提出一种新型神经光动态场模型（Neural Light Dynamic Fields, NLDF），旨在实现高质量 3D 说话人脸生成并显著加速。NLDF基于光线段表示光场，并使用深度网络一次性学习整个光束的信息。在学习过程中应用知识蒸馏，并将基于NeRF的合成结果用于指导NLDF中光线段的正确上色。此外，提出了一种新颖的主动池训练策略，专注于高频运动，尤其是说话者的嘴部和眉毛。该方法有效地表示了 3D 说话人视频生成中的面部光线动态，实现了约30倍的速度提升，相当于最先进的基于NeRF的方法，同时保持可比的生成视觉质量。
引用
@article{arxiv.2406.11259,
title = {NLDF: Neural Light Dynamic Fields for Efficient 3D Talking Head Generation},
author = {Niu Guanchen},
journal= {arXiv preprint arXiv:2406.11259},
year = {2024}
}