Lite2Relight：3D aware 的单图像人像灯光重绘
计算机视觉与模式识别
2024-07-16 v1
摘要
实现人类人像的光照重绘的 photorealistic 3D view synthesis 是推进 AR/VR 应用的关键。现有方法在泛化性和 3D 一致性方面存在显著局限，同时在物理上真实的灯光和身份保持方面不准确。此外，从单视图实现个性化很难实现，往往需要在测试阶段使用多视图图像或涉及缓慢的优化过程。本文引入了 Lite2Relight，一种 novel 技术，能够在进行物理上合理的灯光编辑的同时预测人像的 3D consistent head poses，以实现交互式速度。我们的方法独特地扩展了 EG3D 的生成能力和高效体积表示，利用 lightstage 数据集在隐式地 disentangle face reflectance 并在目标 HDRI environment maps 下进行灯光重绘。通过使用预训练的几何感知编码器和特征对齐模块，我们将输入图像映射到可重绘的 3D 空间中，通过强大的面部几何和反射率先验进行增强。通过广泛的定量和定性评估，我们展示我们的做法在有效性、photorealism 和实际应用方面优于最新的方法。这包括产生全头的 3D consistent 结果，包括头发、眼睛和表情。Lite2Relight 为在各个领域实现大规模 photorealistic 人像编辑 paving the way，提供了一个稳健、交互式的解决方案来解决此前受限的问题。项目页面：https://vcai.mpi-inf.mpg.de/projects/Lite2Relight/。
引用
@article{arxiv.2407.10487,
title = {Lite2Relight: 3D-aware Single Image Portrait Relighting},
author = {Pramod Rao and Gereon Fox and Abhimitra Meka and Mallikarjun B R and Fangneng Zhan and Tim Weyrich and Bernd Bickel and Hanspeter Pfister and Wojciech Matusik and Mohamed Elgharib and Christian Theobalt},
journal= {arXiv preprint arXiv:2407.10487},
year = {2024}
}
备注
Accepted at SIGGRAPH '24: ACM SIGGRAPH 2024 Conference Papers