Nerfbusters：去除随意采集 NeRF 中的幽灵伪影

Frederik Warburg; Ethan Weber; Matthew Tancik; Aleksander Holynski; Angjoo Kanazawa

Nerfbusters：去除随意采集 NeRF 中的幽灵伪影

计算机视觉与模式识别 2023-10-19 v3 人工智能图形学

作者: Frederik Warburg , Ethan Weber , Matthew Tancik , Aleksander Holynski , Angjoo Kanazawa

摘要

随意采集的神经辐射场（NeRFs）在相机轨迹之外渲染时会出现漂浮物或几何缺陷等伪影。现有的评估协议往往不能捕捉这些效应，因为它们通常只评估训练采集数据中每第 8 帧的图像质量。为推动新视角合成领域的进展，我们提出了一种新的数据集与评估流程：对场景记录两条相机轨迹，一条用于训练，另一条用于评估。在这一更具挑战性的真实场景设定下，我们发现现有手工设计的正则化器既不能去除漂浮物，也无法改善场景几何。因此，我们提出了一种基于 3D 扩散的方法，利用局部 3D 先验以及一种新颖的基于密度的分数蒸馏采样损失，在 NeRF 优化过程中抑制伪影。我们表明，该数据驱动的先验能够去除漂浮物并改善随意采集场景的几何结构。

关键词

神经辐射场新视角合成漂浮物 3D 扩散分数蒸馏采样随意采集伪影去除

引用

@article{arxiv.2304.10532,
  title  = {Nerfbusters: Removing Ghostly Artifacts from Casually Captured NeRFs},
  author = {Frederik Warburg and Ethan Weber and Matthew Tancik and Aleksander Holynski and Angjoo Kanazawa},
  journal= {arXiv preprint arXiv:2304.10532},
  year   = {2023}
}

备注

ICCV 2023, project page: https://ethanweber.me/nerfbusters

Nerfbusters：去除随意采集 NeRF 中的幽灵伪影

摘要

关键词

引用

备注

相关论文