基于多视角扩散模型的 Gaussian Splatting 生成式物体插入

生成新物体并将其插入 3D 内容中是实现多功能场景重建的引人注目的方法。现有方法依赖于 SDS 优化或单视角修复，通常难以产生高质量结果。为了解决这个问题，我们提出了一种在由 Gaussian Splatting 表示的 3D 内容中进行物体插入的新方法。我们的方法引入了一个名为 MVInpainter 的多视角扩散模型，该模型建立在预训练的稳定视频扩散模型之上，以促进视角一致的物体修复。在 MVInpainter 内部，我们整合了一个基于 ControlNet 的条件注入模块，以实现可控且更可预测的多视角生成。在生成多视角修复结果后，我们进一步提出了一种掩码感知 3D 重建技术，以从这些稀疏的修复视角中优化 Gaussian Splatting 重建。通过利用这些生成技术，我们的方法产生了多样化的结果，确保了视角一致与和谐的插入，并生成了更好的物体质量。大量实验表明，我们的方法优于现有方法。