分析与改进隐式 3D 重光照人脸生成器中的肤色一致性与偏差

随着生成对抗网络 和神经渲染的进步，3D 重光照人脸生成受到了广泛关注。在现有方法中，一种尤为成功的技术采用隐式光照表示，并通过合成反照率与依赖光照的阴影图像的乘积来生成重光照图像。尽管该方法能产生具有复杂阴影细节的高质量结果，但往往难以生成肤色一致的重光照图像，特别是在光照条件提取自深色皮肤个体图像时。此外，该技术倾向于生成具有较浅肤色的反照率图像。我们的主要观察是，该问题源于训练期间使用的有偏差的球谐 (SH) 系数。基于此观察，我们进行了分析并证明该偏差不仅出现在 0 阶带（DC 项）中，也出现在估计 SH 系数的其他带中。随后，我们提出了一种简单但有效的策略来缓解该问题。具体而言，我们通过 DC 项对 SH 系数进行归一化以消除固有的幅度偏差，同时对其他带中的系数进行统计对齐以减轻方向偏差。我们还提出了一种缩放策略，以使生成图像中的光照幅度分布与训练数据相匹配。通过大量实验，我们证明了我们的解决方案在提高肤色一致性和减轻偏差方面的有效性。