GaussCtrl：多视图一致的文本驱动三维高斯泼溅编辑

我们提出了 GaussCtrl，一种文本驱动的方法，用于编辑由三维高斯泼溅（3DGS）重建的三维场景。我们的方法首先使用 3DGS 渲染一组图像，并基于输入提示使用预训练的二维扩散模型（ControlNet）对其进行编辑，然后用于优化三维模型。我们的关键贡献是多视图一致编辑，它能够同时编辑所有图像，而不是像先前工作那样迭代地编辑一张图像同时更新三维模型。这带来了更快的编辑速度和更高的视觉质量。这是通过两项技术实现的：(a) 深度条件编辑，通过利用自然一致的深度图来强制多视图图像间的几何一致性。(b) 基于注意力的潜码对齐，通过图像潜在表示之间的自注意力和跨视图注意力，以若干参考视图为条件统一编辑后图像的外观。实验表明，我们的方法比先前最先进的方法实现了更快的编辑速度和更好的视觉结果。