Make-A-Shape：千万级规模的 3D 形状模型
计算机视觉与模式识别
2024-09-11 v2 图形学
摘要
在训练用于自然语言和图像的大型生成模型方面已取得显著进展。然而，3D 生成模型的发展受制于其训练所需的庞大资源需求，以及低效、非紧凑且表达能力欠佳的表示方法。本文介绍了 Make-A-Shape，一种新的 3D 生成模型，专为大规模高效训练而设计，能够利用 1000 万个公开可用的形状。在技术层面，我们首先创新了小波树表示，通过制定子带系数滤波方案以高效利用系数关系，从而紧凑地编码形状。随后，我们设计了子带系数打包方案，将该表示布局在低分辨率网格中，使其能够由扩散模型生成。进一步地，我们推导出子带自适应训练策略，以训练我们的模型有效学习生成粗糙与细节小波系数。最后，我们扩展了框架，使其可由额外的输入条件控制，从而能够从多种模态生成形状，例如单/多视图图像、点云和低分辨率体素。在大量实验中，我们展示了各种应用，如无条件生成、形状补全以及多种模态下的条件生成。我们的方法不仅在提供高质量结果方面超越了现有技术，还能在几秒内高效生成形状，对于大多数条件通常只需 2 秒即可实现。我们的源代码可在 https://github.com/AutodeskAILab/Make-a-Shape 获取。
引用
@article{arxiv.2401.11067,
title = {Make-A-Shape: a Ten-Million-scale 3D Shape Model},
author = {Ka-Hei Hui and Aditya Sanghi and Arianna Rampini and Kamal Rahimi Malekshan and Zhengzhe Liu and Hooman Shayani and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2401.11067},
year = {2024}
}