ControlMat：一种可控生成式的材质捕获方法
计算机视觉与模式识别
2024-08-28 v3 图形学
摘要
从照片进行材质重建是3D内容创作平民化的关键组成部分。我们提议将该病态问题表述为可控合成问题，利用生成式深度网络的最新进展。我们提出ControlMat，一种以单张光照不受控的照片为输入，条件化扩散模型以生成合理、可平铺、高分辨率基于物理的数字材质的方法。我们仔细分析了扩散模型对于多通道输出的行为，调整采样过程以融合多尺度信息，并引入滚动扩散以实现高分辨率输出的可平铺性与分块扩散。我们的生成式方法进一步允许探索对应于输入图像的各种材质，从而缓解未知光照条件的影响。我们表明我们的方法优于最近的推断与潜空间优化方法，并仔细验证了我们的扩散过程设计选择。补充材料与额外细节见：https://gvecchio.com/controlmat/。
引用
@article{arxiv.2309.01700,
title = {ControlMat: A Controlled Generative Approach to Material Capture},
author = {Giuseppe Vecchio and Rosalie Martin and Arthur Roullier and Adrien Kaiser and Romain Rouffet and Valentin Deschaintre and Tamy Boubekeur},
journal= {arXiv preprint arXiv:2309.01700},
year = {2024}
}