Orchid：用于联合外观与几何生成的图像潜在扩散模型
计算机视觉与模式识别
2025-08-26 v2 机器学习
摘要
我们提出 Orchid，一种统一的潜在扩散模型，通过学习联合外观-几何先验，在单一扩散过程中生成彩色图、深度图和法线图。这种统一方法比当前采用独立模型处理外观和几何的流水线更高效且更连贯。Orchid 具有多样性——可直接从文本生成彩色图、深度图和法线图，支持基于颜色条件微调的单目深度与法线联合估计，以及无缝对大范围 3D 区域进行插图通过从联合分布中采样。它利用一种新型变分自编码器(VAE)，将 RGB、相对深度和法线联合编码到共享潜在空间，结合潜在扩散模型对这些潜在变量进行去噪。我们的大量实验表明，Orchid 在几何预测方面表现出竞争力，甚至在法线预测准确性和深度-法线一致性方面超越了 SOTA 方法。它还能联合生成彩色-深度-法线图像，质量更具主观真实感。
引用
@article{arxiv.2501.13087,
title = {Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation},
author = {Akshay Krishnan and Xinchen Yan and Vincent Casser and Abhijit Kundu},
journal= {arXiv preprint arXiv:2501.13087},
year = {2025}
}
备注
Accepted to ICCV 2025. Project webpage: https://orchid3d.github.io