LightAvatar：基于神经光场的高效头部头像
计算机视觉与模式识别
2024-11-08 v2
摘要
近期研究表明，基于参数模型的神经辐射场(NeRF)已达到构建从单目视频中逼真头部头像的最佳质量(SOTA)。然而，NeRF 基于的头像的一个主要限制是由于 NeRF 的稠密点采样导致渲染速度慢，阻碍了其在资源受限设备上的更广泛应用。我们引入LightAvatar，首个基于神经光场(NeLF)的头部头像模型。LightAvatar 通过单次网络前向传递从 3DMM 参数和相机位姿渲染图像，无需使用网格或体渲染。虽然该方法在概念上颇具吸引力，但对实现实时效率和训练稳定性提出了重大挑战。为解决这些问题，我们引入专门的网络设计以获得适当的 NeLF 模型表示，并维持低 FLOPs 预算。同时，我们采用基于蒸馏的训练策略，使用预训练的头像模型作为教师来合成大量伪数据进行训练。引入一个位移场网络以纠正真实数据中的拟合误差，使模型能够更好地学习。广泛实验表明，我们的方法在图像质量上达到新的 SOTA，同时显著快于等价方法，在消费级 GPU(RTX3090)上实现 174.1 FPS(512x512 分辨率)，无需任何定制优化。
引用
@article{arxiv.2409.18057,
title = {LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field},
author = {Huan Wang and Feitong Tan and Ziqian Bai and Yinda Zhang and Shichen Liu and Qiangeng Xu and Menglei Chai and Anish Prabhu and Rohit Pandey and Sean Fanello and Zeng Huang and Yun Fu},
journal= {arXiv preprint arXiv:2409.18057},
year = {2024}
}
备注
ECCV'24 CADL Workshop. Code: https://github.com/MingSun-Tse/LightAvatar-TensorFlow. V2: Corrected speed benchmark with GaussianAvatar