INFAMOUS-NeRF：使用语义对齐超网络与神经辐射场改进人脸建模
计算机视觉与模式识别
2023-12-29 v1 机器学习
摘要
我们提出了INFAMOUS-NeRF，一种隐式可变形人脸模型，它将超网络引入NeRF，以在存在大量训练对象时提高表示能力。同时，INFAMOUS-NeRF通过学习语义对齐的潜在空间（尽管是特定于对象的模型）解决了超网络在表示能力和可编辑性之间的经典权衡，且无需大型预训练模型。INFAMOUS-NeRF进一步引入了一种新颖的约束，以改善沿人脸边界的NeRF渲染。我们的约束可以利用光度表面渲染和多视图监督来引导表面颜色预测并改善表面附近的渲染。最后，我们引入了一种新颖的、基于损失的自适应采样方法，通过减少采样冗余来实现更有效的NeRF训练。我们在定量和定性上表明，我们的方法在受控和野外场景中均实现了比先前人脸建模方法更高的表示能力。代码和模型将在发表后发布。
引用
@article{arxiv.2312.16197,
title = {INFAMOUS-NeRF: ImproviNg FAce MOdeling Using Semantically-Aligned Hypernetworks with Neural Radiance Fields},
author = {Andrew Hou and Feng Liu and Zhiyuan Ren and Michel Sarkis and Ning Bi and Yiying Tong and Xiaoming Liu},
journal= {arXiv preprint arXiv:2312.16197},
year = {2023}
}