Instant3dit：用于快速编辑 3D 对象的多视图填洞

我们提出了一种生成技术，用于大约 3 秒编辑以网格、NeRF 或 Gaussian Splats 表示的 3D 形状，无需运行 SDS 类型的优化。我们的关键洞察是将 3D 编辑视为多视图图像填洞问题，因为这种表示是通用的，并且可以借助大量可用的 Large Reconstruction Models 将其映射回任何 3D 表示。我们探索了不同的微调策略，以在同一扩散模型中获得多视图生成和填洞能力。特别是，填洞掩码的设计是训练填洞模型的重要因素，我们提出了几种掩码策略来模拟用户对 3D 形状执行的各种编辑。我们的方法将 3D 生成式编辑从数小时缩短到数秒，并产生比以往工作更高质量的结果。