Alchemist：利用扩散模型对材质属性进行参数化控制
计算机视觉与模式识别
2023-12-06 v1 人工智能
图形学
摘要
我们提出了一种方法，用于控制真实图像中物体的材质属性，如粗糙度、金属感、反照率和透明度。我们的方法利用以照片级真实感著称的文生图模型的生成先验，采用标量值和指令来改变低层材质属性。为解决缺乏具有受控材质属性数据集的问题，我们生成了一个以物体为中心、基于物理材质的合成数据集。在此合成数据集上微调一个修改过的预训练文生图模型，使我们能够编辑真实世界图像中的材质属性，同时保留所有其他属性。我们展示了该模型在材质编辑后的神经辐射场（NeRF）中的潜在应用。
引用
@article{arxiv.2312.02970,
title = {Alchemist: Parametric Control of Material Properties with Diffusion Models},
author = {Prafull Sharma and Varun Jampani and Yuanzhen Li and Xuhui Jia and Dmitry Lagun and Fredo Durand and William T. Freeman and Mark Matthews},
journal= {arXiv preprint arXiv:2312.02970},
year = {2023}
}