MicroDreamer：基于得分迭代重建的高效 3D 生成方法（约需 20 秒）
计算机视觉与模式识别
2024-10-21 v3
摘要
优化型方法，如得分蒸馏抽样（SDS），在零样态 3D 生成中表现有前景，但因每个样本所需的函数评估次数（NFE）较多，以及仅限于潜在空间优化的限制，导致效率较低。本文引入得分迭代重建（SIR）算法，通过模拟可微分 3D 重建过程以降低 NFE，实现像素空间优化。给定由多视角得分扩散模型采样的单组图像，SIR 反复优化 3D 参数，不同于 SDS 的单步优化。结合训练中的其他改进措施，我们提出一种高效方法 MicroDreamer，可通用于各种 3D 表示形式和 3D 生成任务。具体而言，MicroDreamer 在生成神经辐射场（NeRF）时比 SDS 快 5-20 倍，同时保持相当的性能；在单张 A100 GPU 上约需 20 秒即可从 3D 高斯溅写生成网格，速度为最快基于优化的基线 DreamGaussian 的一半，且在与标准误差测量相比性能显著优于后者。我们的代码已公开于 https://github.com/ML-GSAI/MicroDreamer。
引用
@article{arxiv.2404.19525,
title = {MicroDreamer: Efficient 3D Generation in $\sim$20 Seconds by Score-based Iterative Reconstruction},
author = {Luxi Chen and Zhengyi Wang and Zihan Zhou and Tingting Gao and Hang Su and Jun Zhu and Chongxuan Li},
journal= {arXiv preprint arXiv:2404.19525},
year = {2024}
}