Viewset Diffusion：基于 2D 数据以（零）图像为条件的 3D 生成模型
计算机视觉与模式识别
2023-09-04 v2
摘要
我们提出 Viewset Diffusion，一种基于扩散的生成器，其仅使用多视角 2D 数据作为监督即可输出 3D 物体。我们注意到视角集（即物体若干 2D 视图的集合）与 3D 模型之间存在一一映射。因此，我们训练一个扩散模型来生成视角集，但将神经网络生成器设计为在内部重建对应的 3D 模型，从而也生成这些模型。我们针对给定类别的物体，将扩散模型拟合到大量视角集上。所得生成器可以以为零、一个或更多输入视图为条件。在以单个视图为条件时，它执行 3D 重建，考虑任务的不确定性，并允许采样与输入兼容的多个解。该模型以前馈方式高效执行重建，且仅使用渲染损失进行训练，每个视角集少至三个视图。项目页面：szymanowiczs.github.io/viewset-diffusion。
引用
@article{arxiv.2306.07881,
title = {Viewset Diffusion: (0-)Image-Conditioned 3D Generative Models from 2D Data},
author = {Stanislaw Szymanowicz and Christian Rupprecht and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2306.07881},
year = {2023}
}
备注
International Conference on Computer Vision 2023