Holo-Relighting：基于单张图像的可控体积肖像灯光重绘

肖像摄影的核心在于寻找理想的灯光和视角。这一过程通常需要专业的摄影知识以及复杂的工作室设置。在本工作中，我们提出 Holo-Relighting，一种能够从单张图像综合生成新视角和新灯光的体积灯光重绘方法。Holo-Relighting 利用预训练的 3D GAN（EG3D）从输入肖像重建几何和外观特征，构成 3D 感知特征集合。我们设计一个以给定灯光为条件的灯光重绘模块，用于处理这些特征，并预测以 tri-plane 形式表示的重绘后的 3D 表示，通过体积渲染实现任意视角的渲染。除了视角和灯光控制，Holo-Relighting 还将头部姿态作为条件，以实现头部姿态相关的灯光效果。通过这些创新设计，Holo-Relighting 能够在不使用任何显式物理灯光先验条件下，生成复杂的非 Lambertian 灯光效果（如镜面高光和阴影投射）。我们使用 light stage 捕获的数据进行训练，并提出两种数据渲染技术以提高体积灯光重绘系统的数据质量。通过定量和定性实验，我们展示 Holo-Relighting 能够实现最先进的灯光重绘质量，在光真实性、3D 一致性和可控性方面均表现出色。