NeRFiller：通过生成式3D修复补全场景
计算机视觉与模式识别
2023-12-08 v1 人工智能
图形学
摘要
我们提出了NeRFiller，这是一种通过使用现成的2D视觉生成模型进行生成式3D修复来补全3D捕获中缺失部分的方法。由于网格重建失败或缺乏观察（例如，接触区域，如物体底部，或难以到达的区域），捕获的3D场景或物体经常有部分缺失。我们通过利用2D修复扩散模型来解决这个具有挑战性的3D修复问题。我们发现了这些模型的一个令人惊讶的行为，即当图像形成2x2网格时，它们会生成更具3D一致性的修复结果，并展示了如何将这种行为推广到超过四张图像。然后，我们提出了一个迭代框架，将这些修复区域提炼成一个单一且一致的3D场景。与相关工作相比，我们专注于补全场景而非删除前景物体，并且我们的方法不需要严格的2D物体掩码或文本。我们将我们的方法与在多种场景下适应我们设置的相关基线进行了比较，其中NeRFiller创建了最具3D一致性和最合理的场景补全。我们的项目页面位于https://ethanweber.me/nerfiller。
引用
@article{arxiv.2312.04560,
title = {NeRFiller: Completing Scenes via Generative 3D Inpainting},
author = {Ethan Weber and Aleksander Hołyński and Varun Jampani and Saurabh Saxena and Noah Snavely and Abhishek Kar and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2312.04560},
year = {2023}
}
备注
Project page: https://ethanweber.me/nerfiller