利用3D透视几何约束增强扩散模型
计算机视觉与模式识别
2023-12-05 v1 图形学
摘要
虽然透视在艺术中是一个研究充分的话题，但在图像中通常被视为理所当然。然而，对于最近一波高质量图像合成方法（如潜在扩散模型）来说，透视准确性并不是一个明确的要求。由于这些方法能够输出各种可能的图像，因此这些合成图像很难遵循线性透视原理。我们在生成模型的训练过程中引入了一种新的几何约束，以强制透视准确性。我们表明，使用这种约束训练的模型输出看起来更真实，并且提高了在下游模型上训练生成图像的性能。主观人类试验表明，使用我们的约束训练的潜在扩散模型生成的图像在70%的情况下优于Stable Diffusion V2模型生成的图像。最先进的单目深度估计模型（如DPT和PixelFormer）在我们的图像上进行微调后，在KITTI测试集上的零样本迁移中，RMSE提高了7.03%，SqRel提高了19.3%，优于在真实图像上训练的原始模型。
引用
@article{arxiv.2312.00944,
title = {Enhancing Diffusion Models with 3D Perspective Geometry Constraints},
author = {Rishi Upadhyay and Howard Zhang and Yunhao Ba and Ethan Yang and Blake Gella and Sicheng Jiang and Alex Wong and Achuta Kadambi},
journal= {arXiv preprint arXiv:2312.00944},
year = {2023}
}
备注
Project Webpage: http://visual.ee.ucla.edu/diffusionperspective.htm/