HumanMaterial：基于渐进式训练的单张图像人体材质估计

基于物理渲染的全身人体逆渲染旨在获取高质量材质，这有助于在任意光照下实现照片级真实感的渲染。该任务需要估计多个材质图，并且通常依赖于渲染结果的约束。材质图约束的缺失使得逆渲染成为一个不适定问题。先前的工作通过构建用于训练的材质数据集来缓解此问题，但其简化的材质数据和渲染方程导致渲染结果的真实感有限，尤其是皮肤部分。为了进一步缓解此问题，我们基于扫描的真实数据和统计材质数据构建了一个更高质量的数据集(OpenHumanBRDF)。除了法线、漫反射反照率、粗糙度、镜面反照率之外，我们还生成了位移和次表面散射，以增强渲染结果的真实感，特别是针对皮肤。随着更多材质的预测任务增加，像先前工作那样使用端到端模型难以平衡各种材质图之间的重要性，并导致模型欠拟合。因此，我们设计了一个具有渐进式训练策略的模型(HumanMaterial)，以充分利用材质图的监督信息并提高材质估计的性能。HumanMaterial首先通过三个先验模型获得初始材质结果，然后通过一个微调模型对结果进行细化。先验模型估计不同的材质图，每个图对渲染结果具有不同的重要性。因此，我们设计了一个受控PBR渲染(CPR)损失，该损失在先验模型训练期间增强了待优化材质的重要性。在OpenHumanBRDF数据集和真实数据上的大量实验表明，我们的方法达到了最先进的性能。