Director3D：从文本生成真实世界相机轨迹与3D场景
计算机视觉与模式识别
2024-06-26 v1
摘要
近期3D生成的进展利用了具有真实3D资产和预定义相机的合成数据集。然而，采用能够产生显著更真实3D场景的真实世界数据集的潜力仍未得到充分探索。在这项工作中，我们深入研究了真实世界捕获中复杂且特定于场景的相机轨迹这一关键挑战。我们引入了Director3D，一个稳健的开放世界文本到3D生成框架，旨在同时生成真实世界的3D场景和自适应相机轨迹。为此，(1) 我们首先利用一个轨迹扩散Transformer(充当摄影师)来基于文本描述建模相机轨迹的分布。(2) 接下来，一个高斯驱动的多视角潜在扩散模型(充当装饰师)在给定相机轨迹和文本的条件下建模图像序列分布。该模型从2D扩散模型微调而来，直接生成像素对齐的3D高斯作为即时3D场景表示，用于一致的去噪过程。(3) 最后，3D高斯通过一种新颖的SDS++损失(充当细节师)进行细化，该损失融入了2D扩散模型的先验。大量实验表明，Director3D优于现有方法，在真实世界3D生成中展现出卓越性能。
引用
@article{arxiv.2406.17601,
title = {Director3D: Real-world Camera Trajectory and 3D Scene Generation from Text},
author = {Xinyang Li and Zhangyu Lai and Linning Xu and Yansong Qu and Liujuan Cao and Shengchuan Zhang and Bo Dai and Rongrong Ji},
journal= {arXiv preprint arXiv:2406.17601},
year = {2024}
}
备注
Code: https://github.com/imlixinyang/director3d