ComboVerse：利用空间感知扩散引导的组合式三维资产创建
计算机视觉与模式识别
2024-03-20 v1
摘要
从给定图像生成高质量三维资产在 AR/VR 等多种应用中极具价值。单图像三维生成的最新进展探索了无需优化即可推断物体三维模型的前馈模型。尽管在单一物体生成上取得了可喜的成果，但这些方法往往难以建模本质上包含多个物体的复杂三维资产。在本工作中，我们提出 ComboVerse，一个通过学习组合多个模型来生成具有复杂组合的高质量三维资产的三维生成框架。1) 我们首先从模型和数据的角度对这种“多物体差距”进行了深入分析。2) 接着，利用不同物体的重建三维模型，我们试图调整它们的大小、旋转角度和位置，以创建与给定图像匹配的三维资产。3) 为自动化这一过程，我们应用来自预训练扩散模型的空间感知得分蒸馏采样（spatially-aware score distillation sampling, SSDS）来引导物体的定位。与标准得分蒸馏采样相比，我们提出的框架强调物体的空间对齐，从而获得更精确的结果。大量实验验证了 ComboVerse 在生成组合式三维资产方面相较于现有方法取得了显著改进。
引用
@article{arxiv.2403.12409,
title = {ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance},
author = {Yongwei Chen and Tengfei Wang and Tong Wu and Xingang Pan and Kui Jia and Ziwei Liu},
journal= {arXiv preprint arXiv:2403.12409},
year = {2024}
}
备注
https://cyw-3d.github.io/ComboVerse/