中文

GSEdit:基于高斯泼溅的高效文本引导 3D 物体编辑

计算机视觉与模式识别 2024-05-22 v2 图形学

摘要

我们提出了 GSEdit,这是一种基于高斯泼溅(Gaussian Splatting)模型的文本引导 3D 物体编辑流程。我们的方法能够在消费级硬件上仅需数分钟即可编辑 3D 物体的风格和外观,同时不改变其主要细节。我们通过利用高斯泼溅来表示 3D 场景,并借助预训练的基于图像的扩散模型逐步变化图像监督来优化模型,从而解决这一问题。输入物体可以是 3D 三角网格,也可以直接由 DreamGaussian 等生成模型提供的高斯表示。GSEdit 确保了不同视角下的一致性,保持了原始物体信息的完整性。与之前依赖类 NeRF 的 MLP 模型的方法相比,GSEdit 以其高效性脱颖而出,使 3D 编辑任务速度大幅提升。我们的编辑过程通过应用 SDS 损失进行细化,确保编辑既精确又准确。全面的评估表明,GSEdit 能够有效地根据给定的文本指令改变物体的形状和外观,同时保持其连贯性和细节。

关键词

引用

@article{arxiv.2403.05154,
  title  = {GSEdit: Efficient Text-Guided Editing of 3D Objects via Gaussian Splatting},
  author = {Francesco Palandra and Andrea Sanchietti and Daniele Baieri and Emanuele Rodolà},
  journal= {arXiv preprint arXiv:2403.05154},
  year   = {2024}
}

备注

8 pages, 8 figures