Diffusion-SDF：基于体素化扩散的文本到形状生成
计算机视觉与模式识别
2023-05-09 v2 人工智能
图形学
机器学习
摘要
随着工业界对 3D 虚拟建模技术关注度的上升，基于指定条件（如文本）生成新颖 3D 内容已成为热点问题。本文针对文本到形状合成这一挑战性任务，提出了一种称为 Diffusion-SDF 的新生成式 3D 建模框架。以往方法在 3D 数据表示与形状生成上缺乏灵活性，因而无法生成高度多样化且符合给定文本描述的 3D 形状。为此，我们提出了一种 SDF 自编码器与体素化扩散模型，以学习并生成 3D 形状体素化有符号距离场（SDF）的表示。具体而言，我们设计了一种新颖的 UinU-Net 架构，在标准 U-Net 架构内部植入一个局部聚焦的内层网络，从而更好地重建块独立 SDF 表示。我们将该方法扩展至进一步的文本到形状任务，包括文本条件形状补全与操控。实验结果表明，与以往方法相比，Diffusion-SDF 生成了更高质量且更多样化的 3D 形状，并能很好地契合给定文本描述。代码见：https://github.com/ttlmh/Diffusion-SDF
引用
@article{arxiv.2212.03293,
title = {Diffusion-SDF: Text-to-Shape via Voxelized Diffusion},
author = {Muheng Li and Yueqi Duan and Jie Zhou and Jiwen Lu},
journal= {arXiv preprint arXiv:2212.03293},
year = {2023}
}
备注
Accepted to CVPR 2023, project page: https://ttlmh.github.io/DiffusionSDF/