3DPR：基于生成式先验的单图像 3D 头像重光
计算机视觉与模式识别
2025-10-20 v1
摘要
给定单目肖像图像作为输入，对人类头部进行新颖的、重新照亮的视图渲染是一个固有不可约的问题。传统图形学解决方案是通过可微分渲染显式地将输入图像分解为几何、材料和照明，但这受限于这些场景组件的底层模型和参数化的多个假设和近似。我们提出 3DPR，一种基于从多视图 One-Light-at-A-Time (OLAT) 图像中学习的生成式先验的图像基重光模型。我们引入了一个新颖且大规模的 139 名受试者的 4K 多视角 OLAT 数据集，以学习高质量的高频面部反射分布先验。我们利用预训练生成式头部模型的潜在空间，该模型提供了来自野外图像数据集中学习的人脸几何丰富的先验。首先通过基于编码器的反演过程将输入肖像嵌入此类模型的潜在流形。随后使用在我们光照舱数据上训练的新型三平面基 reflectance 网络，用于合成高保真 OLAT 图像以实现图像基重光。我们的 reflectance 网络 operates 在生成式头部模型的潜在空间中，这至关重要，使得仅需少量光照舱图像即可训练 reflectance 模型。根据给定的 HDRI 环境图组合生成的 OLAT 可实现物理准确的环境重光。通过定量和定性评估，我们证明 3DPR 优于先前方法，尤其在保持身份认同方面以及在捕捉光照效应（如镜面反射、自阴影和亚表层散射）方面表现更佳。项目页面: https://vcai.mpi-inf.mpg.de/projects/3dpr/
引用
@article{arxiv.2510.15846,
title = {3DPR: Single Image 3D Portrait Relight using Generative Priors},
author = {Pramod Rao and Abhimitra Meka and Xilong Zhou and Gereon Fox and Mallikarjun B R and Fangneng Zhan and Tim Weyrich and Bernd Bickel and Hanspeter Pfister and Wojciech Matusik and Thabo Beeler and Mohamed Elgharib and Marc Habermann and Christian Theobalt},
journal= {arXiv preprint arXiv:2510.15846},
year = {2025}
}
备注
Accepted at ACM SIGGRAPH ASIA 2025 Conference Proceedings