小波潜在扩散（Wala）：具有紧凑小波编码的十亿参数三维生成模型
计算机视觉与模式识别
2024-11-13 v1 人工智能
机器学习
摘要
大规模三维生成模型需要大量的计算资源，但在高分辨率下捕捉精细细节和复杂几何形状方面往往表现不足。我们将这一局限性归因于当前表示方法的低效性，这些方法缺乏有效建模生成模型所需的紧凑性。为了解决这个问题，我们引入了一种称为小波潜在扩散（WaLa）的新方法，该方法将三维形状编码为基于小波的紧凑潜在编码。具体来说，我们将一个 的有符号距离场压缩到一个 的潜在网格中，实现了惊人的 2427 倍压缩比，同时细节损失极小。这种高压缩比使我们的方法能够高效地训练大规模生成网络，而不会增加推理时间。我们的模型，包括条件模型和无条件模型，包含大约十亿个参数，并成功生成了 分辨率的高质量三维形状。此外，尽管模型规模庞大，WaLa 仍能提供快速推理，根据条件不同，可在两到四秒内生成形状。我们在多个数据集上展示了最先进的性能，在生成质量、多样性和计算效率方面均有显著提升。我们开源了我们的代码，并且据我们所知，发布了跨不同模态的最大预训练三维生成模型。
引用
@article{arxiv.2411.08017,
title = {Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings},
author = {Aditya Sanghi and Aliasghar Khani and Pradyumna Reddy and Arianna Rampini and Derek Cheung and Kamal Rahimi Malekshan and Kanika Madan and Hooman Shayani},
journal= {arXiv preprint arXiv:2411.08017},
year = {2024}
}