CLAY：用于创建高质量 3D 资产的可控大规模生成模型

在数字创意领域，我们将复杂的 3D 世界从想象中实现的潜力常受到现有数字工具限制，这些工具需要大量专业知识和工作。为缩小这一差距，我们引入 CLAY，一个 3D 几何和材料生成器，旨在轻松地将人类想象转化为复杂的 3D 数字结构。CLAY 支持经典文本或图像输入，以及来自多种原始素材的 3D 控制（多视角图像、体素、边界框、点云、隐式表示等）。其核心是一个大规模生成模型，由多分辨率变分自编码器（VAE）和最小化潜在扩散转换器（DiT）组成，用于从多样化的 3D 几何中提取丰富的 3D 先验。具体而言，它采用神经场表示连续且完整的表面，并使用纯转换器块在潜在空间中的几何生成模块。我们提出了渐进式训练方案，在经过精心设计的处理管道获得的超大规模 3D 模型数据集上训练 CLAY，形成具有 15 亿参数的 3D 原生几何生成器。对于外观生成，CLAY 旨在通过采用多视角材料扩散模型来生成具有 diffuse、roughness 和 metallic 模态的 2K 分辨率 PBR 纹理。我们展示了使用 CLAY 进行各种可控 3D 资产创建，从手绘概念设计到带有精细细节的生产就绪资产。即使是首次使用者也能轻松地使用 CLAY 将生动的 3D 想象变为现实，释放无限创造力。