基于 Dream Fields 的零样本文本引导物体生成
计算机视觉与模式识别
2022-05-05 v2 人工智能
图形学
机器学习
摘要
我们将神经渲染与多模态图像和文本表示相结合，仅从自然语言描述中合成多样的 3D 物体。我们的方法 Dream Fields 可在无 3D 监督的情况下生成广泛物体的几何与颜色。由于多样且带描述的 3D 数据稀缺，先前方法仅能生成少数类别（如 ShapeNet）的物体。相反，我们用从网络大规模带描述图像数据集上预训练的图像-文本模型来引导生成。我们的方法从多个相机视角优化一个神经辐射场，使得渲染图像依据预训练的 CLIP 模型对目标描述获得高分。为提升保真度与视觉质量，我们引入了简单的几何先验，包括诱导稀疏的透射正则化、场景边界以及新的 MLP 架构。实验中，Dream Fields 从多种自然语言描述生成了逼真、多视角一致的物体几何与颜色。
引用
@article{arxiv.2112.01455,
title = {Zero-Shot Text-Guided Object Generation with Dream Fields},
author = {Ajay Jain and Ben Mildenhall and Jonathan T. Barron and Pieter Abbeel and Ben Poole},
journal= {arXiv preprint arXiv:2112.01455},
year = {2022}
}
备注
CVPR 2022. 13 pages. Website: https://ajayj.com/dreamfields