CAD：通过对抗蒸馏生成照片级真实感三维内容
计算机视觉与模式识别
2023-12-12 v1 图形学
摘要
AR/VR、机器人和游戏应用中对三维数据日益增长的需求催生了能够合成高质量三维物体的强大生成管线。这些模型大多依赖得分蒸馏采样（SDS）算法来优化三维表示，使得渲染图像在预训练扩散模型评估下保持高似然性。然而，在扩散模型产生的高维分布中找到正确的模式具有挑战性，并且常常导致过饱和、过平滑和类似 Janus 的伪影等问题。在本文中，我们提出了一种利用预训练扩散模型进行三维合成的新颖学习范式。我们的方法不是专注于模式寻找，而是以对抗的方式直接对多视图渲染与扩散先验之间的分布差异进行建模，从而解锁了以单张图像和提示为条件的高保真度、照片级真实感三维内容的生成。此外，通过利用 GAN 的潜在空间和富有表现力的扩散模型先验，我们的方法促进了多种三维应用，包括单视图重建、高多样性生成以及开放域中的连续三维插值。实验证明了我们的管线在生成质量和多样性方面相较于先前工作的优越性。
引用
@article{arxiv.2312.06663,
title = {CAD: Photorealistic 3D Generation via Adversarial Distillation},
author = {Ziyu Wan and Despoina Paschalidou and Ian Huang and Hongyu Liu and Bokui Shen and Xiaoyu Xiang and Jing Liao and Leonidas Guibas},
journal= {arXiv preprint arXiv:2312.06663},
year = {2023}
}
备注
Project page: http://raywzy.com/CAD/