人体重打光：面向全身人像的遮挡感知逆渲染

人体图像的重新打光在图像合成中有多种应用。为进行重打光，我们必须从人像中推断反照率、形状与光照。先前技术基于球谐（SH）光照，利用人脸进行此类推断。然而，由于它们常忽略光遮挡，推断出的形状存在偏差，且重打光图像在腋下、胯部或衣物褶皱等凹陷区域异常明亮。本文首次尝试直接在 SH 形式中推断光遮挡。基于卷积神经网络（CNNs）的监督学习，我们不仅推断反照率图、光照，还推断一个光传输图，其以每像素九个 SH 系数编码遮挡。该推断的主要困难在于相较于无限变化的人像缺乏训练数据集。令人惊讶的是，即便使用小规模合成人像数据集，通过精心准备使 CNNs 能利用数据一致性，也可合理推断出含遮挡的几何信息。我们的方法比忽略遮挡的形式实现了更真实的重打光。