用于精细三维人体重建与重光照的可见性场学习

数字人的精细三维重建与照片级真实重光照对于各类应用至关重要。为此，我们提出了一种新颖的稀疏视角三维人体重建框架，其紧密整合占据场与反照率场并引入额外的可见性场——它不仅解决了多视角特征聚合中的遮挡歧义，还可用于评估自阴影重光照中的光衰减。为增强其训练可行性与效率，我们将可见性离散化到一组固定的采样方向上，并为其提供耦合的几何三维深度特征与局部二维图像特征。我们进一步提出一种受渲染启发的新型损失，即 TransferLoss，以隐式强制可见性场与占据场之间的对齐，实现端到端联合训练。结果与大量实验证明了所提方法的有效性，因其在重建精度上超越 SOTA，同时达到与光线追踪真值相当准确的重光照。