DreamBooth3D：主体驱动的文本到三维生成
计算机视觉与模式识别
2023-03-28 v2 人工智能
图形学
摘要
我们提出 DreamBooth3D，一种仅需 3-6 张随意拍摄的主体图像即可个性化文本到三维生成模型的方法。我们的方法结合了近期个性化文本到图像模型（DreamBooth）与文本到三维生成（DreamFusion）的进展。我们发现，朴素地结合这些方法无法产生令人满意的特定主体三维资产，因为个性化文本到图像模型会过拟合于主体的输入视角。我们通过一个三阶段优化策略克服了这一问题，其中联合利用了神经辐射场的三维一致性与文本到图像模型的个性化能力。我们的方法能够生成高质量的、特定主体的三维资产，并支持文本驱动的修改，例如输入图像中未出现的全新姿态、颜色和属性。
引用
@article{arxiv.2303.13508,
title = {DreamBooth3D: Subject-Driven Text-to-3D Generation},
author = {Amit Raj and Srinivas Kaza and Ben Poole and Michael Niemeyer and Nataniel Ruiz and Ben Mildenhall and Shiran Zada and Kfir Aberman and Michael Rubinstein and Jonathan Barron and Yuanzhen Li and Varun Jampani},
journal= {arXiv preprint arXiv:2303.13508},
year = {2023}
}
备注
Project page at https://dreambooth3d.github.io/ Video Summary at https://youtu.be/kKVDrbfvOoA