使用三平面扩散生成 3D 神经场
计算机视觉与模式识别
2022-12-01 v1 人工智能
图形学
摘要
扩散模型已在图像生成等任务中成为 state-of-the-art。在此，我们提出了一种高效的基于扩散的模型，用于 3D 感知的神经场生成。我们的方法通过将 ShapeNet 网格等训练数据转换为连续占用场，并将其分解为一组轴对齐的三平面特征表示来进行预处理。因此，我们的 3D 训练场景均由 2D 特征平面表示，我们可以直接在这些表示上训练现有的 2D 扩散模型，以生成高质量和多样性的 3D 神经场，优于其他 3D 感知生成方法。我们的方法对现有的三平面分解流水线进行了必要的修改，使得生成的特征易于被扩散模型学习。我们在 ShapeNet 的多个物体类别上展示了 3D 生成的 state-of-the-art 结果。
引用
@article{arxiv.2211.16677,
title = {3D Neural Field Generation using Triplane Diffusion},
author = {J. Ryan Shue and Eric Ryan Chan and Ryan Po and Zachary Ankner and Jiajun Wu and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2211.16677},
year = {2022}
}
备注
Project page: https://jryanshue.com/nfd