Zero-1-to-3：从单张图像零样本生成三维物体
计算机视觉与模式识别
2023-03-21 v1 图形学
机器人学
摘要
我们提出 Zero-1-to-3，一个仅给定单张 RGB 图像即可改变物体相机视角的框架。为在这一欠约束设定下执行新视角合成，我们利用大规模扩散模型关于自然图像所学到的几何先验。我们的条件扩散模型使用合成数据集学习相对相机视角的控制，从而能在指定相机变换下生成同一物体的新图像。尽管在合成数据集上训练，我们的模型对分布外数据集及野生图像（包括印象派绘画）仍保持强大的零样本泛化能力。我们的视角条件扩散方法可进一步用于单图像三维重建任务。定性与定量实验表明，借助互联网规模预训练，我们的方法显著优于最先进的单视图三维重建与新视角合成模型。
引用
@article{arxiv.2303.11328,
title = {Zero-1-to-3: Zero-shot One Image to 3D Object},
author = {Ruoshi Liu and Rundi Wu and Basile Van Hoorick and Pavel Tokmakov and Sergey Zakharov and Carl Vondrick},
journal= {arXiv preprint arXiv:2303.11328},
year = {2023}
}
备注
Website: https://zero123.cs.columbia.edu/