Shap-E：生成条件式 3D 隐式函数
计算机视觉与模式识别
2023-05-05 v1 机器学习
摘要
我们提出 Shap-E，一种面向 3D 资产的条件生成模型。不同于近期产出单一输出表示的 3D 生成模型工作，Shap-E 直接生成隐式函数的参数，这些参数可被渲染为带纹理网格与神经辐射场。我们分两阶段训练 Shap-E：首先，训练一个将 3D 资产确定性映射到隐式函数参数的编码器；其次，在编码器输出上训练条件扩散模型。当在大规模配对 3D 与文本数据上训练时，我们所得的模型能在数秒内生成复杂多样的 3D 资产。与 Point-E（一种于点云上的显式生成模型）相比，尽管建模更高维、多表示的输出空间，Shap-E 收敛更快且达到可比或更好的样本质量。我们在 https://github.com/openai/shap-e 发布模型权重、推理代码与样本。
引用
@article{arxiv.2305.02463,
title = {Shap-E: Generating Conditional 3D Implicit Functions},
author = {Heewoo Jun and Alex Nichol},
journal= {arXiv preprint arXiv:2305.02463},
year = {2023}
}
备注
23 pages, 13 figures