几何感知的单图像全身人体重打光

单图像人体重打光旨在通过将输入图像分解为反照率、形状和光照,在新光照条件下对目标人体重新打光。尽管可以实现合理的重打光结果,先前的方法同时存在反照率与光照的纠缠以及缺乏硬阴影两个问题,显著降低了真实感。为解决这两个问题,我们提出了一种几何感知的单图像人体重打光框架,利用单图像几何重建来联合部署传统图形渲染与神经渲染技术。对于去光,我们探讨了UNet架构的不足并提出了一种改进的HRNet,实现了反照率与光照之间更好的解耦。对于重打光,我们引入了基于光线追踪的逐像素光照表示,显式建模高频阴影,并提出基于学习的阴影细化模块,从光线追踪阴影图中恢复真实阴影(包括硬投影阴影)。我们的框架能够在具有挑战性的光照条件下生成照片级真实的高频阴影(如投影阴影)。大量实验表明,我们提出的方法在合成图像和真实图像上都优于先前的方法。