用于单图像人像视角合成的实时辐射场
计算机视觉与模式识别
2023-05-04 v1 人工智能
图形学
机器学习
摘要
我们提出一种单次方法，可实时从单张无位姿图像（如人脸肖像）推断并渲染照片级真实感的3D表示。给定单张RGB输入，我们的图像编码器直接预测神经辐射场的规范三平面表示，以通过体渲染进行3D感知的新视角合成。我们的方法在消费级硬件上快速（24 fps），且比需要测试时优化的强GAN反演基线产生更高质量的结果。为训练我们的三平面编码器流水线，我们仅使用合成数据，展示了如何将知识从预训练3D GAN蒸馏至前馈编码器。技术贡献包括基于Vision Transformer的三平面编码器、相机数据增强策略，以及为合成数据训练精心设计的损失函数。我们与最先进方法基准比较，在具有挑战性的真实世界设定中展现出鲁棒性与图像质量的显著提升。我们在人脸（FFHQ）与猫（AFHQ）肖像上展示了结果，但我们的算法未来也可应用于其他具有3D感知图像生成器的类别。
引用
@article{arxiv.2305.02310,
title = {Real-Time Radiance Fields for Single-Image Portrait View Synthesis},
author = {Alex Trevithick and Matthew Chan and Michael Stengel and Eric R. Chan and Chao Liu and Zhiding Yu and Sameh Khamis and Manmohan Chandraker and Ravi Ramamoorthi and Koki Nagano},
journal= {arXiv preprint arXiv:2305.02310},
year = {2023}
}
备注
Project page: https://research.nvidia.com/labs/nxp/lp3d/