GaussianAnything：面向 3D 物体生成的交互式点云流匹配
计算机视觉与模式识别
2025-04-11 v2 人工智能
图形学
摘要
尽管 3D 内容生成已取得显著进展，现有方法仍面临输入格式、潜空间设计和输出表示的挑战。本文引入一个新颖的 3D 生成框架来解决这些挑战，提供可扩展、高质量的 3D 生成，并具有交互式的点云结构潜空间。我们的框架采用一个变分自编码器（VAE），以多视角姿态 RGB-D(epth)-N(ormal) 渲染作为输入，使用独特的潜空间设计来保留 3D 形状信息，并融合了一个级联的潜流模型以改善形状-纹理解耦。所提出的方法，GaussianAnything，支持多模态条件 3D 生成，允许点云、文本描述和单张图像输入。值得注意的是，新提出的潜空间自然地实现了几何-纹理解耦，从而允许 3D 感知编辑。实验结果证明了我们的方法在多个数据集上的有效性，在文本和图像条件的 3D 生成方面均优于现有的原生 3D 方法。
引用
@article{arxiv.2411.08033,
title = {GaussianAnything: Interactive Point Cloud Flow Matching For 3D Object Generation},
author = {Yushi Lan and Shangchen Zhou and Zhaoyang Lyu and Fangzhou Hong and Shuai Yang and Bo Dai and Xingang Pan and Chen Change Loy},
journal= {arXiv preprint arXiv:2411.08033},
year = {2025}
}
备注
ICLR 2025 project page: https://nirvanalan.github.io/projects/GA/