前言：一种用于少样本超高分辨率人脸合成的数据驱动体素先验
计算机视觉与模式识别
2023-10-02 v1 人工智能
机器学习
摘要
NeRF 已能够实现高度逼真的人脸合成，包括头发与皮肤的复杂外观及反射效果。这些方法通常需要大量多视角输入图像，使得过程对硬件要求高且繁琐，限制了其在无约束场景中的适用性。我们提出了一种新颖的体素人脸先验，能够对不属于该先验训练分布的受试者合成超高分辨率新视角图像。该先验模型由一个身份条件化的 NeRF 组成，训练于具有已知相机标定的多样化人类低分辨率多视角图像数据集上。对训练数据集进行简单的基于稀疏地标的 3D 对齐，使我们的模型能够在有限训练身份数量下学习到几何与外观的平滑潜空间。通过将模型拟合到任意分辨率的 2 或 3 个相机视角，可获得新受试者的高质量体素表示。重要的是，我们的方法在推理时仅需少量至两张随意拍摄的图像作为输入。
引用
@article{arxiv.2309.16859,
title = {Preface: A Data-driven Volumetric Prior for Few-shot Ultra High-resolution Face Synthesis},
author = {Marcel C. Bühler and Kripasindhu Sarkar and Tanmay Shah and Gengyan Li and Daoye Wang and Leonhard Helminger and Sergio Orts-Escolano and Dmitry Lagun and Otmar Hilliges and Thabo Beeler and Abhimitra Meka},
journal= {arXiv preprint arXiv:2309.16859},
year = {2023}
}
备注
In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023