MatFusion：用于 SVBRDF 捕获的生成式扩散模型

我们将从照片中估计 SVBRDF 建模为扩散任务。为了建模空间变化材料的分布，我们首先在由 312,165 个合成空间变化材料范例构成的大型数据集上训练了一个新型无条件 SVBRDF 扩散主干模型。该 SVBRDF 扩散主干模型命名为 MatFusion，随后可作为条件扩散模型的基础，用于从受控或非受控照明条件下的照片中估计材料属性。我们的主干 MatFusion 模型仅基于反射率属性训练，因此无需在训练时进行反向传播，即可与更昂贵的渲染方法结合进行细化。由于条件 SVBRDF 扩散模型属于生成式模型，我们可以从同一输入照片合成多个 SVBRDF 估计，供用户从中选择符合其期望的最佳结果。我们通过在不同类型的入射光照条件下对不同 SVBRDF 扩散模型进行细化，展示了我们方法的灵活性。并指出，在单张潮汕闪光灯照片下，我们的方法可实现与现有 SVBRDF 估计方法相当或更好的精度。