DGE：基于一致性多视图编辑的直接高斯三维编辑

我们考虑基于开放式语言指令对三维对象和场景进行编辑的问题。常见的解决方法是使用二维图像生成器或编辑器来指导三维编辑过程，从而无需三维数据。然而，这一过程常因需要对代价高昂的三维表示（如神经辐射场）进行迭代更新而效率低下，这些更新可能通过单独视图编辑或得分蒸馏采样实现。这种方法的一个主要缺点是由于跨视图聚合不一致信息导致的收敛缓慢，因为来自二维模型的指导缺乏多视图一致性。我们因此引入直接高斯编辑器（DGE），该方法在两个阶段解决了上述问题。首先，我们修改给定的高质量图像编辑器（如 InstructPix2Pix），使其具备多视图一致性。为此，我们提出一种无需训练的、集成场景三维几何线索的方法。其次，给定一系列多视图一致的编辑后图像，我们直接且高效地优化基于三维高斯溅写的三维表示。由于避免了增量和迭代编辑，DGE 在现有方法中显著更准确且更高效，并提供了额外优势，例如实现对场景部分的选择性编辑。