LION：用于三维形状生成的潜点扩散模型
计算机视觉与模式识别
2022-10-14 v1 机器学习
机器学习
摘要
去噪扩散模型（DDMs）在三维点云合成中已展现出有前景的结果。为推动三维 DDMs 并使其对数字艺术家有用，我们需要（i）高生成质量，（ii）用于条件合成和形状插值等操控与应用的灵活性，以及（iii）输出光滑表面或网格的能力。为此，我们引入了用于三维形状生成的层次化潜点扩散模型（LION）。LION 被构建为一个变分自编码器（VAE），其层次化潜空间将全局形状潜表示与点结构化潜空间相结合。对于生成，我们在这些潜空间中训练两个层次化 DDMs。与直接在 point cloud 上操作的 DDMs 相比，层次化 VAE 方法提升了性能，而点结构化潜空间仍非常适于基于 DDM 的建模。在实验上，LION 在多个 ShapeNet 基准上达到了最先进的生成性能。此外，我们的 VAE 框架使我们能轻松将 LION 用于不同相关任务：LION 在多模态形状去噪和体素条件合成方面表现出色，并可适用于文本和图像驱动的 3D 生成。我们还展示了形状自编码和潜形状插值，并用现代表面重建技术增强 LION 以生成光滑三维网格。我们希望 LION 因其高质量生成、灵活性和表面重建能力，为从事三维形状创作的艺术家提供强大工具。项目页面与代码：https://nv-tlabs.github.io/LION。
引用
@article{arxiv.2210.06978,
title = {LION: Latent Point Diffusion Models for 3D Shape Generation},
author = {Xiaohui Zeng and Arash Vahdat and Francis Williams and Zan Gojcic and Or Litany and Sanja Fidler and Karsten Kreis},
journal= {arXiv preprint arXiv:2210.06978},
year = {2022}
}
备注
NeurIPS 2022