DreamBeast：基于部件感知知识转移的 3D 奇幻动物蒸馏
计算机视觉与模式识别
2024-09-13 v1 图形学
机器学习
图像与视频处理
摘要
我们提出了 DreamBeast，一种基于分数蒸馏采样（SDS）的新方法，用于生成由不同部件组成的奇幻 3D 动物资产。现有的 SDS 方法在处理这一生成任务时常常遇到困难，因为文本到图像扩散模型对部件级语义的理解有限。虽然最近的扩散模型（如 Stable Diffusion 3）展现出了更好的部件级理解能力，但它们速度极慢，并表现出单视图扩散模型的其他常见问题。DreamBeast 通过一种新颖的部件感知知识转移机制克服了这一限制。对于每个生成的资产，我们高效地从 Stable Diffusion 3 模型中提取部件级知识到 3D 部件亲和性隐式表示中。这使我们能够从任意相机视角即时生成部件亲和性图，随后在 SDS 过程中利用该图来调制多视图扩散模型的引导，从而创建奇幻动物的 3D 资产。大量定量和定性评估表明，DreamBeast 显著提升了具有用户指定部件组合的 3D 生物的生成质量，同时降低了计算开销。
引用
@article{arxiv.2409.08271,
title = {DreamBeast: Distilling 3D Fantastical Animals with Part-Aware Knowledge Transfer},
author = {Runjia Li and Junlin Han and Luke Melas-Kyriazi and Chunyi Sun and Zhaochong An and Zhongrui Gui and Shuyang Sun and Philip Torr and Tomas Jakab},
journal= {arXiv preprint arXiv:2409.08271},
year = {2024}
}
备注
Project page: https://dreambeast3d.github.io/, code: https://github.com/runjiali-rl/threestudio-dreambeast