YouDream：生成可解剖学可控的一致性文本到三维动物
计算机视觉与模式识别
2024-06-25 v1
摘要
受文本到图像扩散模型驱动的3D生成方法能够创建视觉上引人注目的资产。然而，先前的方法仅基于图像或文本进行生成，其创意边界受限于可以通过文字表达的内容或可以获取的图像。我们提出YouDream，一种用于生成高质量可解剖学可控动物的方法。YouDream通过受控于3D姿态先验的二维视图的文本到图像扩散模型进行引导。我们的方法生成的3D动物是先前文本到3D生成方法无法创建的。此外，我们的方法能够在生成的动物中保持解剖一致性，而先前的文本到3D方法在这方面常常难以做到。此外，我们设计了一个用于生成常见动物的全自动管道。为规避创建3D姿态需要人工干预的需求，我们提出了一个多智能体LLM，用于从有限的动物3D姿态库中适配所需动物的姿态。对YouDream结果的用户研究表明，我们的方法生成的动物模型受到偏好。Turntable结果和代码已发布于https://youdream3d.github.io/。
引用
@article{arxiv.2406.16273,
title = {YouDream: Generating Anatomically Controllable Consistent Text-to-3D Animals},
author = {Sandeep Mishra and Oindrila Saha and Alan C. Bovik},
journal= {arXiv preprint arXiv:2406.16273},
year = {2024}
}