几何条件化 PBR 图像生成的协同控制
计算机视觉与模式识别
2024-08-26 v3 图形学
摘要
图形学流水线需要基于物理的渲染（PBR）材质，然而当前的 3D 内容生成方法构建于 RGB 模型之上。我们提出直接对 PBR 图像分布进行建模，从而避免 RGB 生成中的光度不准确性以及从 RGB 中提取 PBR 的固有歧义性。由于数据匮乏和输出模态的高维性，现有的跨模态微调范式不适用于 PBR 生成，我们提出使用一种新颖的跨网络通信范式，训练一个与冻结的 RGB 模型紧密连接的新 PBR 模型。由于基础 RGB 模型被完全冻结，所提方法保留了其通用性能，并与该基础模型的 IPAdapters 等保持兼容。
引用
@article{arxiv.2402.05919,
title = {Collaborative Control for Geometry-Conditioned PBR Image Generation},
author = {Shimon Vainer and Mark Boss and Mathias Parger and Konstantin Kutsy and Dante De Nigris and Ciara Rowles and Nicolas Perony and Simon Donné},
journal= {arXiv preprint arXiv:2402.05919},
year = {2024}
}
备注
19 pages, 10 figures; Project page: https://unity-research.github.io/holo-gen/